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前 言 


从 古 到 今 ,“ 最 优化 "无 处 不 在 ,大 到 人 类 认识 世界 、 改 造 世界 ,小 到 个 人 理 
财 、 时 间 安 排 等 生活 的 方方面面 。 最 优化 的 思想 起 源 于 远古 ,最 优化 作为 一 门 学 
科 则 形成 于 20 世纪 30 年 代 。 随 着 科学 技术 尤其 是 计算 机 技术 的 高 速 发 展 ,最 
优化 理论 与 方法 已 经 在 21 世纪 这 个 信息 时 代 起 着 越 来 越 重要 的 作用 。 

本 书 结合 作者 多 年 的 教学 体会 与 心得 ,本 着 加 强 最 优化 方法 的 基础 理论 、 突 
出 非 线性 最 优化 的 应 用 背景 、 提 高 数学 建 模 及 计算 机 应 用 能 力 的 原则 ,参照 非 线 
性 最 优化 的 最 新 发 展 , 较 全 面 、 系 统 地 介绍 了 非 线 性 最 优化 的 理论 与 方法 。 

全 书 共 分 十 二 章 :第 一 章 绪论 ,通过 大 量 的 实例 的 模型 建立 修改, 介绍 最 优 
化 问题 的 应 用 背景 和 建 模 思路 ,引出 最 优化 各 分 支 , 并 照应 各 个 不 同 专业 的 知识 
结构 ,将 线性 代数 与 微 积 分 结合 起 来 建立 向 量 微分 学 概念 ;第 二 章 凸 性 和 第 三 章 
最 优 性 条 件 是 非 线性 最 优化 的 理论 基础 ;第 四 章 用 非 线 性 观点 讲述 线性 规划 内 
容 , 既 保证 了 知识 的 完整 性 ,也 使 熟悉 线性 规划 的 读者 能 有 新 的 理解 ,强调 了 线 
性 规划 与 非 线 性 规划 的 内 在 统一 性 ;第 五 章 迭 代 算 法 和 第 六 章 一 维 搜索 是 非 线 
性 最 优化 算法 设计 与 性 能 分 析 的 基础 ;第 七 章 无 约束 最 优化 的 解析 法 、 第 八 章 无 
约束 最 优化 的 直接 法 、 第 九 章 可 行 方向 法 和 第 十 章 罚 函数 法 与 广义 乘 子 法 , 较 全 
面 、 系 统 地 介绍 了 无 约 东 最 优化 和 约束 最 优化 问题 的 各 种 算法 ,并 分 析 了 这 些 算 
法 的 性 能 特点 ,给 出 了 收敛 性 和 收敛 速度 的 理论 证 明 ; 最 后 两 章 介绍 了 应 用 广 
泛 、 结 构 相 对 简单 的 二 次 规划 、 凸 规划 和 线性 分 式 规划 的 一 些 特殊 算法 。 只 需 具 
备 微 积分 和 线性 代数 的 知识 即 可 读 懂 本 书 。 

本 书 第 二 章 、 第 三 章 、 第 四 章 、 第 七 章 、 第 八 章 和 第 十 章 由 谢 政 执笔 ,第 一 章 、 
第 五 章 、 第 六 章 、 第 九 章 和 第 十 二 章 由 李建平 执笔 ,第 十 一 章 由 陈 榴 执笔 。 

本 书 的 撰写 和 出 版 得 到 了 许多 同仁 的 关心 和 支持 ,得 到 了 高 等 教育 出 版 社 
研究 生 分 社 王 瑜 社 长 和 张 长 虹 编 辑 的 帮助 ,在 此 表示 诚 侧 的 谢意 。 
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第 一 章 ”绪论 


最 优化 是 一 门 应 用 性 强 内容 丰富 的 年 轻 学 科 , 它 研究 最 优化 问题 的 最 优 
解 , 即 针对 给 出 的 实际 问题 ,从 众多 的 可 行 方案 中 选 出 最 优 方案 . 
本 章 包含 模型 与 实例 数学 预备 知识 .最 优化 问题 的 图 解法 等 内 容 . 


1.1 模型 与 实例 


本 节 结 合 几 个 实例 的 数学 模型 的 建立 和 修改 ,介绍 最 优化 问题 的 应 用 背景 
和 建立 模型 的 思路 ,引出 最 优化 的 各 个 分 支 . 


1.1.1 什么 是 最 优化 


最 优化 (optimization ) 是 一 门 应 用 相当 广泛 的 学 科 , 它 讨论 决策 问题 的 最 佳 
选择 之 特性 ,构造 寻求 最 佳 解 的 计算 方法 ,研究 这 些 计 算 方 法 的 理论 性 质 及 实际 
计算 表现 . 最 优化 问题 广泛 见于 工程 设计 .经济 规 划 ,生产 管理 ,交通 运输 .国防 
等 重要 领域 .例如 ,在 工程 设计 中 ,怎样 选择 设计 参数 ,使 得 设计 方案 既 满足 设计 
要 求 , 又 能 降低 成 本 ;在 资源 分 配 中 ,怎样 分 配 有 限 资源 ,使 得 分 配方 案 既 能 满足 
各 方面 的 基本 要 求 , 又 能 获得 好 的 经 济 效益 ;在 生产 计划 安排 中 ,选择 怎样 的 计 
划 方 案 才能 提高 产值 和 利润 ;在 原料 配 比 问题 中 ,确定 怎样 的 比例 才能 提高 质 
其, 降低 成 本 ;在 城建 规划 中 ,怎样 安排 布局 才能 有 利于 城市 发 展 ;在 区 域 经 济 规 
划 中 ,如 何 发 挥 地 区 优势 ,挖掘 潜力 ,发 展 生产 力 ;在 作战 指挥 中 ,如 何 合理 运用 
火力 ,制订 作战 方案 ,使 之 能 有 效 地 消灭 敌人 ,保存 自己 ,等 等 . 

最 优化 既是 一 个 古老 的 课题 ,又 是 一 门 年 轻 的 学 科 . 早 在 17 世纪 ,Newton 
和 Leibniz 发 明 微 积分 的 时 代 , 已 经 提出 函数 的 极 值 问题 , 后 来 又 出 现 了 
Lagrange 乘 子 法 ,Cauchy 的 最 速 下 降 法 . 但 直到 20 世纪 30 年 代 , 最 优化 的 理论 
和 方法 才 得 以 迅速 发 展 ,并 不 断 完善 ,逐步 成 为 一 门 系统 的 学 科 . 1939 年 
Kantorovich 和 Hiteheoek 等 人 在 生产 组 织 管理 和 制定 交通 运输 方案 方面 首先 研 
究 和 应 用 了 线性 规划 . 1947 年 ,Dantzig 提出 了 求解 线性 规划 的 单纯 形 法 ,为 线性 
规划 的 理论 和 算法 葛 定 了 基础 ,单纯 形 法 被 誉 为 20 世纪 最 伟大 的 创造 之 一 ”. 
1951 年 ,由 Kuhn 和 Tucker 完成 了 非 线性 规划 的 基础 性 工作 . 到 20 世纪 70 年 

1. 


代 , 最 优化 无 论 在 理论 和 算法 上 ,还 是 在 应 用 的 深度 和 广度 上 都 有 了 进一步 的 发 
展 . 随 着 计算 机 的 飞速 发 展 ,最 优化 的 应 用 能 力 越 来 越 强 ,从 而 成 为 一 门 十 分 活 
跃 的 学 科 . 


1.1.2 经 典 极 值 问题 的 一 个 实例 


下 面 ,我 们 用 一 个 简单 实例 来 回顾 一 下 经 典 极 值 问题 . 

把 一 个 半径 为 1 的 实心 金属 球 熔化 后 , 铸 成 一 个 实心 圆柱 体 , 问 圆柱 体 取 什 
么 尺寸 才能 使 它 的 表面 积 最 小 ? 

这 是 一 个 求 圆柱 体 表面 积 受 限制 于 (subject to, 简 记 为 s.t. ) 体积 为 定数 的 
约束 条 件 的 函数 极 值 问题 . 设 圆柱 体 的 底面 半径 为 ,高 为 h, 则 该 问题 可 表达 为 


min 2nrh + 277; 
st Tri = 了 
也 可 化 为 无 约束 的 函数 极 值 问题 
8 日 
min ar +2mr . 
这 个 简单 的 例子 ,实际 上 代表 了 经 典 最 优化 中 两 种 类 型 的 问题 . 
第 一 ,无 约束 极 值 问 题 
minf (x ,x2,°°° ,%)» 
其 中 /(xi,x;,…,%,) 为 RR" 上 的 可 微 函 数 . 求 极 值 点 的 方法 是 : 先 求 出 如 下 ”元 
非 线性 方程 组 
fs (xix st) = 0 
foxx ss) = 0， 
fs (visx2 xs) = 0 
的 解 ,然后 判定 或 验证 这 些 解 是 不 是 极 值 点 
第 二 ,具有 等 式 约束 的 极 值 问题 
min f(x,%2 ,°° xs) 
二 =0j =1,2,…, 心 
通常 用 Lagrange 乘 子 法 ( Lagrange multiplier method ) 来 求解 , 即 把 问题 转化 为 求 
Lagrange 函数 
1 
Lrgasee Kas 0) = fxs ts) — Do Dh 1s x2 ta) 
的 无 约束 极 值 问题 . 
众所周知 ,上 述 极 值 问题 的 求解 都 归结 为 非 线性 方程 组 的 求解 ,只 有 特殊 情 
了 


况 才 能 手 算出 来 
计算 机 的 产生 和 发 展 ,为 人 们 求解 大 规模 最 优化 应 用 问题 提供 了 有 用 的 工 


具 , 最 优化 理论 和 方法 才 得 以 迅速 发 展 . 与 经 典 最 优化 相 比 ,近代 最 优化 无 论 是 
模型 还 是 求解 方法 都 要 丰富 得 多 . 


1.1.3 最 优化 问题 的 模型 及 分 类 


最 优化 问题 所 对 应 的 模型 具有 如 下 结构 

第 一 是 决策 变量 ( decision variable) , 即 所 考虑 的 问题 可 归结 为 优选 若干 个 
被 称 为 参数 或 变量 的 量 x, ,x,,… ,x, ,它们 都 取 实 数值 ,它们 的 一 组 值 构 成 了 一 
个 方案 . 

第 二 是 约束 条 件 ( constraint condition) , 即 对 决策 变量 x, ,xz; ,…,x, 所 加 的 限 
制 条 件 ,通常 用 不 等 式 和 等 式 表示 为 

Bi(sixza mh) FO = 2 pm 
属 (zixza xs) =0j = 1,2,.,. 

第 三 是 目标 函数 ( objective funetion) 和 目标 ,如 使 利润 达到 最 大 或 使 成 本 达 
到 最 小 ,通常 刻画 为 极 大 化 (maximize ) 或 极 小 化 ( minimize ) 一 个 实 值 函数 /zx ， 
Ba oN) 

因此 ,最 优化 问题 可 理解 为 确定 一 组 决策 变量 在 满足 约束 条 件 下 寻求 目标 
函数 的 最 优 . 

注意 到 极 大 化 目标 函数 衣 (x, ,x,，,… ,x,) 相当 于 极 小 化 -f(x ,x,，… ,x,). 采 
用 向 量 记 法 , 令 x=(%,,x,,…,x,) ,并 将 约束 条 件 写成 集约 束 的 形式 , 即 令 

S = |x|g(x) 2 00=1,2, mh(x) = 0, =1,2,,l}, 
则 最 优化 问题 一 般 地 可 表述 为 如 下 形式 ; 
人 f(x); 
st.xes, 

其 中 称 x = (x ,x,,… ,x。) eR" 为 决策 变量 ,f(x) 为 目标 函数 ,SC R" 为 约束 集 
( constraints set) 或 可 行 域 (feasible region) , 它 是 所 有 可 行 解 (feasible solution ) 即 
满足 约束 条 件 的 点 的 集合 . 

特别 地 ,如果 可 行 域 5 =RR", 则 最 优化 问题 (1. 1. 1) 称 为 无 约束 最 优化 问题 
(unconstrained optimization problem ) ,其 形式 通常 为 


(1.1.1) 


minf(x) ,xz e R". (1.1.2) 
一 般 地 ,约束 最 优化 问题 ( constrained optimization problem) 写作 

min f(x); 

St. g(x) 0,i=1,2,.…,m, (1.1.3) 


h(x) = 0, = 1,2,,1, 


其 中 称 gz) (i=1,2,…,m) ,h(x) (=1,2,…，,1) 为 约束 函数 ( constraint 
function) ,g,(z) 宇 0(i=1,2,…,m) 为 不 等 式 约束 ,h(x) =0(j=1,2,…,1) 为 等 
式 约 东 . 当 目 标 函 数 和 约束 函数 均 为 变量 * 的 线性 函数 时 ,问题 (1.1.3) 称 为 线 
性 规划 问题 ( linear programming problem). 当 目 标 函 数 和 约束 函数 中 至 少 有 一 个 
是 变量 x 的 非 线性 函数 时 ,问题 (1.1.3) 称 为 非 线性 规划 问题 ( nonlinear 
programming problem). 此 外 ,根据 决策 变量 .目标 函数 和 约束 的 不 同 , 最 优化 还 
可 分 成 整数 规划 (integer programming) .动态 规划 ( dynamical programming) 、 网 络 
优化 ( network optimization ) 、 非 光滑 优化 ( non-smooth optimization ) 、 随 机 规划 
(stochastic programming ) 、 几 何 规划 (geometric programming)、 目 标 规划 (goal 
programming) 、 模 糊 规 划 (fuzzy programming) 等 若干 分 支 . 本 书 主要 介绍 求解 无 
约束 最 优化 问题 (1. 1.2) 和 约束 最 优化 问题 (1.1. 3) 的 理论 和 方法 . 


1.1.4 最 优化 问题 举例 


(1) 多 参数 曲线 拟 合 问题 
已 知 热 敏 电阻 R 依赖 于 温度 :的 函数 关系 为 


R(t) = mexp( -人 一) ， (1.1.4) 


t+% 


其 中 x ,x, 和 xs 是 待定 的 参数 . 通过 实验 , 测 得 一 组 数据 | (4.,R) 1i=1,2,…， 
n| .问题 是 如 何 确定 参数 x, ,x, 和 x,? 

可 以 设想 ,任意 给 定 参数 x, ,x, ,x 的 一 组 数值 ,就 由 (1.1.4) 式 确定 了 R 关 
于 4 的 一 个 函数 关系 式 .在 几何 上 , 它 对 应 于 一 条 曲线 ,这 条 曲线 不 一 定 正好 通 
过 那些 测量 点 ,一 般 都 要 产生 “偏差 "(如 图 1.1.1 所 示 ). 通常 用 最 小 平方 和 误 
差 来 度量 曲线 拟 合 的 好 坏 , 即 误差 D3 LR, - R(5)]】 越 小 ,说 明 曲线 拟 合 得 越 
好 ,参数 选 得 越 合理 . 于 是 ,问题 转化 为 求解 无 约束 最 优化 问题 


dln) LR ~ RC 


图 1.1.1 曲线 拟 合 


这 是 一 个 典型 的 非 线 性 最 小 二 乘 问题 . 
(2) 生产 成 本 问题 
在 数量 经 济 学 中 ,常常 用 生产 函数 来 描述 经 济 行为 的 规律 性 , 设 x, 是 作为 
资本 的 货物 ,x, 为 劳动 力 , 则 有 著名 的 Cobb - Douglas 生产 函数 
Q(x1,x2) = Axrxs, 
其 中 @ 为 产 出 产量 ,4 为 生产 技术 水 平 ,a 和 为 参数 .已 知 工资 率 为 w, 资 本 报 
酬 率 为 ", 则 由 经 济 学 可 知 生产 成 本 为 C = re, + xi. 生产 成 本 问题 是 在 产量 不 低 
于 某 水 平 Q。 的 条 件 下 , 极 小 化 生产 成 本 . 它 对 应 的 数学 模型 为 
min C = rx, + wx,; 
s.t. Axrxs > 0,, 
xi > 0, 
zx, > 0. 
这 是 一 个 约束 最 优化 问题 ,根据 其 特殊 性 ,也 可 视 为 几何 规划 问题 ,其 目标 函数 
和 约束 函数 具有 多 元 多 项 式 形式 . 
(3) 结构 设计 问题 
结构 设计 师 的 传统 工作 在 于 力图 提出 这 样 的 设计 ,该 设计 能 够 安全 地 承受 
所 设计 的 载荷 ,最 优 性 的 概念 仅仅 隐 含 在 设计 的 标准 规范 和 设计 师 的 经 验 之 中 . 
但 是 现在 有 了 计算 机 的 帮助 ,复杂 的 结构 设计 如 航空 空间 结构 设计 ,对 最 优 性 的 
要 求 更 明显 了 . 
以 两 杆 对 称 析 架 的 极 小 重量 设计 为 例 . 考虑 图 1.1.2 所 示 的 平面 析 架 , 它 由 
两 根 钢管 构成 ,顶点 为 两 杆 的 共同 端点 ,两 杆 的 另 两 个 支点 固定 .已 知 梅 架 的 跨 
度 为 2L, 承 受 负荷 为 2P, 钢 管 的 厚度 7, 材料 密度 为 p, 纵 向 弹性 模 数 为 ,容许 
应 力 为 o. 要 确定 钢管 的 平均 直径 d 和 术 架 高 度 ,使 术 架 重量 最 小 . 


全 


> A 


(a) 杭 架 示意 图 (b) 钢管 剖面 图 
图 1.1.2 两 杆 对 称 术 架 极 小 重量 设计 


这 里 ,决策 变量 为 4 和 ,目标 函数 为 


W = 2pm7d VL + hi, 


约束 条 件 包括 : 
@ 钢管 内 压 应 力 不 超 过 容许 极限 , 即 
PAE + 
mTdh 


@ 为 保证 在 负荷 2P 的 作用 下 钢管 不 发 生 弯 曲 ,要 求 压 应 力 不 超 过 临界 应 
力 c,, 由 材料 力学 知 


TE(d +T) PVP+1 
8(L+h) 7 ndhT 

图 设计 变量 d 和 h 有 界 . 

于 是 ,我 们 得 到 该 问题 的 最 优化 模型 为 非 线性 规划 问题 


min 2npdT VL + hs 


mE(d +T) PVP+i 0 
8(L* +h’) mdhT 7 
dd ds 
ho Sh > he,. 
(4) 海洋 运输 问题 
某 航运 公司 承接 了 一 项 将 客户 停放 在 港口 等 待 运输 的 NN 种 货物 运往 目的 
地 的 业务 . 设 航运 公司 运输 单位 货物 i 的 收益 为 c;( 元 / 吨 ) ,货船 能 够 装载 的 货 
物 的 重量 限制 为 W( 吨 ) ,相应 的 容积 限制 为 (立方 米 ). 设 ai 是 单位 货物 i 所 
占 的 容积 (立方 米 / 吨 ) ,b, 是 货物 i 可 提供 的 最 大 数量 ( 吨 ). 问 如 何 确定 货船 的 
装载 方案 ,使 航运 公司 获 利 最 大 ? 
设 x(i=1,2,…,N) 是 货船 装载 货物 i 的 数量 , 则 容易 建立 如 下 变量 有 界 的 
线性 规划 模型 


0<x < bi=1,2,,N. 
可 能 会 发 现 ,求解 这 一 模型 所 获得 的 最 优 解 并 不 符合 实际 ,这 就 要 求 对 模型 进行 修改 . 
下 面 来 分 析 目 标 函数 是 否 合理 . 
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我 们 知道 ,每 种 货物 的 装 船 速 度 不 一 定 相同 , 装 船 速 度 决定 了 货物 在 港口 泊 
位 的 时 间 . 泊位 的 时 间 越 长 ,泊位 的 费用 就 越 大 . 因此 , 建 模 时 应 把 泊位 时 间 因 素 
或 泊位 费用 考虑 进去 . 
设 货物 i 的 日 平均 装 船 速度 为 w, 吨 , 货 船 的 日 泊位 费 为 9 ,货船 在 海上 航 
行 时 的 日 费用 为 9,, 同 时 假定 航行 距离 为 d, 航 行 速度 为 ,那么 货船 的 旅程 时 间 
为 装 船 时 间 和 航行 时 间 两 部 分 之 和 ,表示 为 
和 | 


:dd 
TS 


货船 从 该 项 运输 服务 中 所 获得 的 净 收益 为 
P= Ten > Ts 


即使 把 净 收 益 最 大 当做 评价 标准 有 时 也 是 不 恰当 的 . 因为 装载 货物 不 同 , 货 船 的 
旅程 时 间 了 未 必 相 同 . 这 就 可 能 导致 一 种 不 合理 的 决策 :在 长 时 间 的 旅程 中 获得 
了 一 个 较 大 的 净 收益 . 为 此 考虑 将 单位 时 间 内 的 平均 利润 即 净 收 益 率 最 大 作为 
目标 ,得 到 修改 的 模型 为 


max z = £; 
= 5， 


Osx bi = 1,2,.N. 
这 是 一 类 特殊 的 非 线性 规划 问题 ,其 中 约束 函数 均 为 线性 函数 ,只 有 目标 函数 为 
两 个 线性 函数 之 比 的 非 线性 函数 , 称 之 为 线性 分 式 规划 (linear fractional 
programming ) 问题 . 
(5) 资源 分 配 问题 
考虑 将 m 种 资源 安排 给 n 种 活动 , 问 应 如 何 分 配 资源 才能 使 收益 最 大 ? 
设 决 策 变量 %(j =1,2,…,n) 表 示 选 用 活动 j 的 水 平 , 已 知 的 数据 是 : 
b=(b,,b,，,…,b。) ,其 中 心 表示 第 站 种 资源 的 拥有 量 ; 
4 =(as)。、。, 其 中 a 表示 资源 i 相对 于 活动 j 的 单位 消耗 量 ; 
< = (cl,c,…,cs) ,其 中 < 表示 活动 j 的 单位 利润， 
则 对 应 的 最 优化 模型 为 线性 规划 问题 
max z = Cx; 
| Ar 三 五， (1.1.5) 


x 0. 


在 某 些 实际 应 用 中 ,上 述 确 定型 决策 模型 是 不 适宜 的 ,因为 利润 系数 c,， 
c2,… ,cs 并 不 是 固定 的 数值 ,而 是 随机 变量 . 假定 c 是 一 个 均值 为 &= (6, ,6,,…， 
6) . 协 方差 矩阵 为 V 的 随机 向 量 ,那么 问题 (1.1.5) 中 的 目标 函数 > 就 是 一 个 
均值 为 Ex、 方 差 为 x"Vx 的 随机 变量 . 

Q@ 如 果 希 望 z 的 期 望 值 最 大 , 则 可 考虑 线性 规划 模型 

max Cx; 
t Ar <b, 
r=0. 
@ 如果 和 希望 z 的 方差 最 小 , 则 有 如 下 模型 
min x Vr; 
| 4r <b, (1.1.6) 
r=0. 
问题 (1.1.6) 中 ,目标 函数 是 二 次 函数 (quadratic funetion) ,约束 均 为 线性 约束 ， 
它 是 一 类 特殊 的 非 线 性 规划 问题 , 称 之 为 二 次 规划 (quadratic programming ) 
问题 . 
图 如 果 希 望 期 望 最 大 且 方 差 最 小 , 则 得 到 一 个 多 目标 规划 (multiple 
objective programming ) 模型 
max Ex; 
min x Vx; 
s.t. Ax <b, 
x 0. 

@ 对 期 望 和 方差 两 者 加 以 综合 考虑 . 

假定 人 们 的 兴趣 在 于 保证 期 望 值 至 少 达到 某 一 值 z, 这 个 值 3 常常 被 认为 是 
愿望 水 平 或 满意 水 平 . 

一 种 自然 的 考虑 方法 是 要 求 "x>>z, 那 么 ,我 们 得 到 如 下 模型 

min x Vx; 
s.t. Ax <b, 
Ex >2, 
x=0. 
这 仍然 是 一 个 二 次 规划 问题 . 

另 一 种 考虑 方法 是 令 = Prob(cr>5),a 是 获得 满意 水 平 3 的 概率 ,当然 
人 们 喜欢 极 大 化 a. 为 转化 为 确定 型 问题 , 设 c =d +yp, 其 中 4d,p 是 n 维 固定 向 
量 ,y 为 一 维 随机 变量 , 则 


a = Prob(d'x + yp'x>2) = Prob{ > > 


z =)， 


px 


相应 的 模型 为 如 下 线性 分 式 规划 问题 


， 王 -dx 

min 一 一 一; 
px 

st Ax<b, 
x>0. 


(6) 设施 问题 

在 实际 中 经 常 遇 到 活动 中 心 的 最 优 位 置 问题 ,如 工厂 或 仓库 的 位 置 , 工 厂 中 
机 械 加 工 中 心 或 部 门 的 位 置 ,城区 中 应 急 设施 (如 消防 公安 .救护 中 心 等 ) 的 位 
置 . 下 面 考虑 一 种 简单 情况 . 

设 有 个 市 场 ,第 j 个 市 场 的 位 置 为 (aj,b,) ,对 某 种 货物 的 需求 量 为 q,,j = 
1,2,…,n. 现 计划 建立 m 个 仓库 ,第 i 个 仓库 的 容量 为 c,,i=1,2,…,m. 试 确定 
仓库 的 位 置 , 使 各 仓库 到 各 市 场 的 总 加 权 距 离 最 小 . 

设 (x,,y,) 为 仓库 i 的 位 置 ,dj 为 仓库 i 到 市 场 j 的 距离 ,ws 为 仓库 i 到 市 场 j 
的 货物 单位 数量 ,i=1,2,…,m;j=1,2,…,n, 则 该 问题 的 模型 是 


min 2 
> < ci = 1,2,m, 
s.t ee i 和 (1.1.7) 


Fw, = 9 = 1,2,0 on, 


wy 0,i=1,2,. ,mj = 1,2,..,n. 
关于 距离 可 采用 不 同 的 度量 ,如 
dy = [x -al +|y -ol 或 由 = Vv -a) + (yb 

这 样 ,问题 (1.1.7) 就 是 一 个 以 xxzx 7 yw yaow 为 变量 的 
非 线性 规划 问题 . 如 果 仓 库 的 位 置 是 固定 的 , 则 d 为 已 知 , 那 么 问题 (1.1.7) 就 
是 众所周知 的 运输 问题 的 线性 规划 模型 . 

(7) 政治 区 划 

假设 m 个 基本 人 口 单元 (如 县 、 社 团 等 ) 按 某 种 政治 需要 可 以 得 到 个 政 区 
组 合 . 设 c 为 选取 政 区 j 的 费用 或 不 可 接受 性 的 度量 . 问 应 怎样 把 这 m 个 人 口 单 
元 划分 成 K 个 政 区 ,使 总 的 费用 (或 不 可 接受 性 ) 最 小 ? 


设 
1, 选 取 政 区 j， 
到 
1 {oFm, 0 
_ 11, 人 口音 元; 划 到 政 区 j 中 ， 1 2 ji 2 
se i 


则 问题 可 表述 为 如 下 0 -1 整数 规划 问题 


st yao = 1i=1,2,,m, 
请 


(8) 最 优 控制 

如 果 最 优化 问题 的 解 不 随时 间 而 变 , 则 称 为 静态 最 优化 (参数 最 优化 ) 问 
题 . 前 面 列举 的 例子 都 属于 静态 最 优化 问题 . 

如 果 最 优化 问题 的 解 随时 间 变 化 , 即 变量 是 时 间 上 的 函数 , 则 称 为 动态 最 优 
化 ,也 即 最 优 控 制 (optimal control) 问题 . 

一 个 离散 控制 问题 可 以 表述 为 一 个 非 线性 规划 问题 ,而 一 个 连续 最 优 控制 
问题 又 可 以 用 一 个 非 线性 规划 问题 去 逼近 ,因此 , 非 线 性 规划 问题 的 方法 可 以 用 
来 求解 某 些 最 优 控制 问题 . 

1) 离散 最 优 控制 

考虑 一 个 持续 K 时 期 的 固定 时 间 的 离散 最 优 控制 问题 . 在 时 期 上 开始 ,该 系 
统 用 状态 向 量 % ,表示 ,在 时 期 大 末 , 控 制 向 量 w 按照 下 面 的 关系 把 系统 的 状 
态 从 yy 1 改变 到 y: 

De = it + BY ,Mi) (1.1.8) 
称 (1.1.8) 式 为 状态 方程 .给 出 初始 状态 y。, 应 用 控制 序列 wu, ,wu,,… ,ui 能 够 得 
到 一 状态 向 量 序列 y,,y,,…,y, 这 些 状态 向 量 称 之 为 轨道 . 这 个 过 程 如 图 1. 1.3 


所 示 . 
Wy be] Wy Mx 
加 nn np 二 元 ” pl ! 3 


图 1.1.3 离散 最 优 控 制 


控制 序列 ww, ,ws，… ,wu 和 状态 向 量 序列 y。,y,,… ,yi 称 为 可 行 的 是 指 它们 
满足 以 下 约束 : 
ye e Yk = 1,2,…,K， 
Wi € Uk = 2 
更 (oil sa us) <， 
其 中 ,7 ，,…,Y,U,,U,,…, Ui 及 DD 都 是 给 定 的 集合 , 歼 是 已 知 函数 ,通常 称 为 
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轨道 约束 函数 .离散 最 优 控制 问题 是 在 所 有 可 行 控制 和 可 行 轨道 中 ,通过 优化 某 
一 目标 函数 来 寻求 一 最 优 控制 和 一 个 相应 的 最 优化 轨道 ,其 对 应 的 模型 是 
min a(yo，》 is ,Ws ,i) Ss; 
St Ye = + BWM) ,Ek = 1,2,.%,K, 
ys EYVk=1,2,..K, 
us € Usk = 1,2,.,K, 
Byori yi, i) € D. 
下 面 我 们 用 生产 与 存 贮 的 实例 来 具体 说 明 离散 最 优 控制 问题 . 
假定 某 公司 生产 某 种 产品 以 满足 某 一 已 知 的 需求 ,并 假定 生产 进程 超过 KK 
期 就 应 停止 . 在 每 个 时 期 的 开始 用 存 贮 来 满足 需求 ,然后 由 生产 来 满足 ,而 任何 
时 期 最 大 的 生产 量 受 到 现 有 生产 能 力 的 限制 ,因而 生产 量 不 能 超过 6 单位 . 假设 
需要 时 ,可 以 雇佣 足够 的 临时 工 ,多 余 时 ,可 以 解雇 这 些 临时 工 . 然而 ,为 了 防止 
劳动 力 大 的 波动 ,假定 任何 两 个 相 邻 时 期 劳动 力 差 的 平方 与 某 一 费用 成 正比 , 同 
时 ,把 存 贮 从 一 个 时 期 保留 到 另 一 个 时 期 也 引起 了 一 个 与 之 成 正比 的 费用 . 问题 
是 如 何 确定 劳动 力 和 存 贮 的 水 平 使 得 既 满足 需求 又 使 费用 最 小 . 


图 1.1.4 生产 与 存 贮 


如 图 1.1.4 所 示 ,在 该 问题 中 ,状态 变量 为 时 期 末 的 存 贮 水 平 1, 和 劳动 力 
ZL ,控制 变量 是 时 期 中 所 获得 的 劳动 力 ui(u, <0 意 指 解雇 劳动 力 -u,) ,该 问 
题 的 模型 是 
min > (cu + cl); 
st Lo = LL +uk =1,2,..%,K, 
L = +ph -dk = 1,2,.%,K, 
b 
pp” 
10,k =1,2,.,K, 
其 中 初始 存 贮 量 1 和 初始 劳动 力 数 L, 为 已 知 ,di 是 时 期 中 的 已 知 需 求 ,p 是 
每 个 工人 在 任何 时 期 中 生产 的 产品 单位 数 . 


0 lk 
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2) 连续 最 优 控制 
在 离散 控制 问题 的 情形 下 ,控制 运用 在 离散 点 上 . 现在 我 们 考虑 控制 函数 u 
运用 在 一 固定 时 间 [0,7] 内 的 连续 控制 问题 . 其 对 应 的 模型 是 


min [ely al) ld 


dy 
st = PLD ,u(t)] ,te [0,7], C0 
yeY, 


ueU, 
yy(y,u) e D, 
其 中 初始 状态 向 量 y(0) =y。 是 已 知 的 . 
假定 把 时 段 [0,T] 分 成 个 时 期 ,使 得 KA =7T, 记 y=y(kA),u, =u(kA)， 
则 连续 最 优 控制 问题 (1. 1.9) 可 用 下 面 的 离散 最 优 控制 问题 来 通 近 : 


min Ean): 


St ys = + BVM) ,bk = 1,2,.,K, 
pk = ld, 
us e Uk = 1,2,,K, 
Wyory sr Vid ,uM) €D. 
考虑 发 射 火箭 的 例子 . 
假设 质量 为 m 的 火箭 在 时 刻 :产生 的 垂直 向 上 的 推力 为 u(t) , 离 地 面 高 度 
为 y(4) ,并 且 在 任何 时 刻 火箭 所 产生 的 最 大 推力 不 超过 上. 为 了 耗费 最 小 能 量 使 
火箭 在 时 刻 了 到 达 高 度 及 ,可 建立 如 下 控制 模型 
min [lu 1dt; 
st my"(t) +mg = u(t),t e [0,7], 
lu(t) | <b,te [0,7], 
7(0) = 0,y(7) = H, 
y (0) =0， 
其 中 g 为 重力 加 速度 . 令 yi, =y(0) ,7 =Y" (6) ,可 将 问题 (1.1.10) 化 为 如 下 带 一 
阶 微分 方程 的 等 价 问题 


(1.1.10) 


本 


min [ lu) | dr; 

st y(t) = (1),t e [0,7], 
ya(D = A gt e [0,7]， CD 
lu() | <b,te [0,7], 
71(0) = 0,%(7) = H,y,(0) = 0. 


假定 把 区 间 [0,7] 分 成 K 个 时 期 ,每 个 时 期 长 为 1, 在 时 期 末 , 推 力 、 高 度 和 速 
度 分 别 用 w ,7 和 7 表示 , 则 问题 (1. 1. 11) 可 用 如 下 非 线 性 规划 模型 来 近似 ; 


: 
min > ul; 


| 
St Ys Tt 2 
已 
yp 1,2 ,Kk 
ul < bk = 1,2,..,K, 
yo = 80 = O07.x=H. 


以 上 我 们 结合 最 优化 问题 的 建 模 ,进一步 了 解 到 最 优化 方法 的 广泛 应 用 ,同时 ， 
初步 认识 了 最 优化 的 一 些 重要 模型 . 它们 是 我 们 研究 最 优化 理论 与 方法 的 基础 . 


1.2 数学 预备 知识 


这 一 节 ,我 们 将 对 线性 代数 与 微 积分 的 基本 知识 作 一 简单 回顾 ,以 巩固 向 量 
函数 微分 学 的 有 关 知 识 . 


1.2.1 向 量 的 范 数 和 和 矩阵 的 条 件数 


在 本 书 中 ,约定 向 量 取 列 向 量 形式 . 这 样 ,n 维 Euclid 空间 R" 中 的 一 个 向 量 
工 表示 为 


也 可 表示 为 行 向 量 的 转 置 , 即 x = (zx, ,x,，,… ,x,) ,其 中 zza，…z, 为 向 量 x 的 
分 量 . 分 量 都 为 0 的 向 量 称 为 零 向 量 , 记 为 0. 
设 z= (zi x2 ,x。) y= (4,82，… ,7。) ,如 果 对 一 切 1<i<n, 都 有 ,= 
ee 


7, 则 称 向 量 x 


等 于 向 量 y, 记 作 x =y; 如 果 对 一 切 1<i<n, 都 有 x;<y.( 或 x 


7,) , 则 称 向 量 x 小 于 等 于 (或 大 于 等 于 )y, 记 作 x<y( 或 x>y) ;如 果 对 一 切 1<i 
<n, 都 有 xi <yi( 或 >y) , 则 称 向 量 x 小 于 (或 大 于 )y, 记 作 x <y(x>y). 
在 本 书 中 ,我们 约定 矩阵 为 实 和 矩阵 . 把 m xn 实 矩 阵 的 全 体 记 作 R"*. 


设 A4 是 nn 


阶 对 称 和 矩阵 ,zx 为 任意 非 零 n 维 向 量 - 


(1) 车 x"Ax >0 则 称 4 为 正定 矩阵 ; 

(2) 若 zh4r>0, 则 称 4 为 半 正 定 和 矩阵 ; 

(3) 若 x"Ax <0, 则 称 4 为 负 定 矩阵 ; 

(4) 若 x"Ax<0, 则 称 4 为 半 负 定 矩 阵 . 
除 此 之 外 , 称 4 为 不 定 矩 阵 . 

设 4 为 上 阶 对 称 矩 阵 , 利 用 4 的 各 特征 值 或 顺序 主子 式 的 符号 可 以 判定 4 
的 正定 性 ( 见 表 1.2.1). 


表 1.2.1 对 称 矩 阵 的 正定 性 判定 


“为 正定 十 阵 人 的 特征 值 都 大 于 0 [4 的 各 阶 丘 序 主子 式 都 大 于 0 
4 为 正定 起 阵 | 4 的 特征 值 部 大 于 等 于 0 | A 的 各 阶 策 序 主子 式 都 大 于 等 于 
A 为 负 定 矩 阵 | 4 的 特征 值 都 小 于 0 poe 
4 为 半 负 定 短 阵 | 4 的 特征 值 都 小 于 等 于 0 人 是 
人 A WE 

设 x,yeR", 称 


为 向 量 x 与 y 的 内 积 . 称 


lzl = (站 (1.2.1) 
2 


为 向 量 x 的 Euclid 范 数 (或 向 量 x 的 长 度 ). 范 数 为 1 的 向 量 称 为 单位 向 量 . 因为 
n 维 向 量 与 R" 中 的 点 一 一 对 应 ,因此 称 


lz -sl = (D7)")" 


为 两 点 x,y 间 的 距离 . 
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关于 Euclid 范 数 与 内 积 , 我 们 提 及 两 个 重要 不 等 式 : 
(1) 三 角 不 等 式 
lxt+yl < lxl + lyl; 
(2) Cauchy 不 等 式 
lxy| < xl li 
以 上 两 式 等 号 成 立 当 且 仅 当 x = Ay(A 为 实数 ). 
更 一 般 地 ,对 R" 中 元 素 定义 的 向 量 范 数 "| 是 R" 上 的 一 个 非 负 实 值 函数 ， 
它 满足 以 下 三 个 条 件 : 
(1) VxeR", 有 上 x 上 >=0, 同 时 当 且 仅 当 x=0 时 | xll =0; 
(2) VxeR",VYaeR, 有 larl| =|al lxl; 
(3)Vx,yeR", 有 lx+yl < xl + lyl. 
例如 ,p 范 数 


Nxl, 


(六 lal)2p>D 
和 最 大 范 数 


max| |x,| |1 < ii 


lxl. 
都 可 以 作为 向 量 范 数 . 
对 R" 中 向 量 可 引进 各 种 各 样 的 范 数 ,但 它们 具有 下 述 性 质 : 
设 上 1。 和 小 上 。 是 定义 于 &" 中 的 两 种 向 量 范 数 , 则 总 存在 正 数 c, 和 c, ,使 
对 一 切 xeR", 有 


从 


中 


czllaslzlescllzlly (1.2.2) 

这 一 性 质 称 为 向 量 范 数 的 等 价 性 . 

在 最 优化 方法 中 ,常常 需要 考虑 某 个 点 列 |x,| 的 收敛 快慢 . 设 x 一 , 需 考 
虑 上 x -| 趋 于 0 的 速率 ,利用 向 量 范 数 的 等 价 性 (1.2.2) 式 ,只 需 对 某 一 种 向 
量 范 数 进 行 考虑 即 可 . 本 书 中 除 特 别 声明 外 ,所 出 现 的 范 数 都 是 Euclid 范 数 . 

下 面 引进 矩阵 的 条 件数 的 概念 . 

称 n 阶 方 阵 4 的 各 特征 值 的 绝对 值 | A, | , | A, | ,…, | A, | 中 的 最 大 者 为 
4 的 谱 半径 . 

设 AeR", 称 方 阵 A"4 的 特征 值 的 非 负 平方 根 为 4 的 奇异 值 . 矩阵 4 的 
( 谱 ) 条 件数 定义 为 4 的 最 大 奇异 值 与 最 小 非 零 奇异 值 之 商 , 记 为 <(4) , 即 


其 中 
ol(4) = 0,(4)>= :=0(4)>=-…>=0,(4) 
为 4 的 所 有 奇异 值 , 且 : 为 4 的 秩 ( 即 !=zrank 4). 
放款 


如 果 4 为 n 阶 正定 矩阵 , 则 记 
A(A) = A(4) 三 … 二 ho(4) >0 
和 
ol(4) > 0,(4)>= :>=0,(4) 

分 别 为 4 的 特征 值 和 奇异 值 ,从 而 (4) =A;(4) ,i=1,2,…,n, 于 是 
A(A) 
A.(A4)” 
即 正定 矩阵 的 条 件数 等 于 它 的 最 大 特征 值 与 最 小 特征 值 之 商 . 

如 果 4 为 阶 满 秩 和 矩阵 , 则 4 的 所 有 奇异 值 r,(4) >=os(4)>…>co(4) 
>0, 从 而 


k(4) = 


即 满 秩 和 矩阵 的 条 件数 等 于 它 的 最 大 奇异 值 与 最 小 奇异 值 之 商 . 

一 个 n 阶 满 秩 和 矩阵 4 称 为 病态 的 ,如 果 4 的 个 列 向 量 之 间 存 在 着 近似 线 
性 关系 .此 时 A 的 最 小 奇异 值 就 会 很 小 ,相应 地 条 件数 就 会 很 大 . 因此 条 件数 可 
以 用 来 度量 矩阵 的 病态 程度 . 例如 ,对 于 二 阶 方 阵 


4=[ < <1， 


容易 验证 w,(4) =1+s,ox (4) =1-e. 当 e 一 1 时 ， 


1 +e 
l-e 


相应 地 ,4 趋 于 奇异 矩阵 ,也 就 是 说 ,4 的 病态 程度 愈 来 愈 严重 . 
1.2.2 多 元 函数 的 梯度 .Hesse 矩阵 及 Taylor 公式 


一 个 n 元 函数 /(x, ,x,，,…,x,) 可 视 为 向 量变 量 x = (xi ,x,,…,*,)" 的 实 值 
函数 , 记 作 /(z). 

定义 1.2.1 设 /:R" 一 R,xeR". 如 果 存 在 n 维 向 量 p, 对 任意 n 维 非 零 向 
量 Ax ,使 得 


K(4) = 


一 op ， 


lim ZE+Ar) -f(z) -PrAr _ 0， 


Tar1 一 0 1 Az 1 Se 
则 称 Kx) 在 点 三 处 可 微 ,并 称 
dr(E) = PTAr (1.2.4) 
为 /(x) 在 点 处 的 微分 
式 (1.2.3) 可 以 写成 下 述 等 价 形式 
f(x¥+Ax) -f(x) =p"'Axr +o( |Axrl). (1.2.5) 
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定义 1.2.2 设 广 R 一 ReB 如果/(x) 在 点 处 对 于 自 变量 x = (x,， 
zx) 的 各 分 量 的 偏 导数 
of (x) 
xi 
都 存在 , 则 称 函 数 / 在 点 处 一 阶 可 导 , 并 且 称 向 量 
of(x) of (x of (x 
为 /(x) 在 点 处 的 一 阶 导数 或 梯度 . 
定理 1.2.1 设 /:R" 一 R,FeR". 如果/(x) 在 点 处 可 微 , 则 f(x) 在 点 处 
的 梯度 wy(E) 存 在 ,并 且 有 
df(x) = WA(E)TAr. 
证 明 在 (1.2.5) 式 中 依次 取 
Ar = Axei,si = 1,2，…,n， 
其 中 Ar = (Ax, ,Ax,,… ,Ax,)",e; 是 第 i 个 单位 坐标 向 量 ( 它 的 第 i 个 分 量 为 1， 
其 余 分 量 均 为 0) , 即 


人 2 


T 


记 p = (PP Ps) , 则 
f(F + Axiei) -f(x) = pAx, +o( |Ax,|),i = 1,2，…n， 


从 而 
(CE+Axe) -f/x) i 
a = Pi =1,2,,n. 
故 V/() 存 在 且 p =VV/(x) ,从 而 由 (1.2.4) 式 知 结论 成 立 . 0 
根据 上 述 定理 ,(1.2.5) 式 可 写成 
f(¥ +Axr) -f(x) = V/(F)"Ar +o( | Ax ), (1.2.6) 
或 
f(¥+Ax) =J(z) + V/(F)"Axr +o( | Axl ). (1.2.7) 
定义 1.2.3 设 /ER* 一 ,Fe 2",d 是 给 定 的 a 维 非 夫 向量 ,e = 了 -如果 
极限 
lim 妈 三 + Ae) -7(E)(A oR) (1.2.8) 


A—0 入 
存在 , 则 称 此 极限 为 几 x) 在 点 大 沿 方向 4 的 方向 导数 , 记 作 叶 2) 


定理 1.2.2 设 /Rr 一 R,zeR". 如 果 /(x) 在 点 可 微 , 则 /(x) 在 处 沿 任 
何 非 零 向 量 d 的 方向 导数 存在 , 且 
UP = 六 ACE)re， 


5 


区 
其 中 “< 下 2 六 


证 明 由 (1.2.8) 式 和 (1.2.6) 式 知 
A .in {E+ 20) ~/(D) 


. = lim 
A—0 


ALCD +0) = V/(z)'e. 0 
定义 1.2.4 设 /(x) 是 R" 上 的 连续 函数 ,5e R",d 是 n 维 非 零 向 量 . 如 果 
存在 8>0, 使 得 
f(x+Ad) </(1), YAe(0,6), 
则 称 4 为 /在 点 处 的 下 降 方 向 ; 若 
f(x+Ad) >f (x1), VAe(0,6), 
则 称 d 为 /在 点 处 的 上 升 方向 . 


根据 (1.2.8) 式 ,应 用 极限 保 号 性 定理 易 知 ,当红 (<0 时 ,f(x) 从 点 出 


发 沿 方向 d 在 到 附近 是 下 降 的 ; 当 对 人) >0 时 ,f(x) 从 点 出 发 沿 方向 d 在 玉 
附近 是 上 升 的 . 方向 导数 的 正 负 符 号 决定 了 函数 的 升降 ,升降 快慢 由 它 的 绝对 值 
大 小 决定 . 绝对 值 越 大 ,升降 的 速度 就 越 快 . 所 以 ,方向 导数 环 ( 姑 又 可 以 称 为 画 
数 /(x) 在 点 处 沿 方向 d 的 变化 率 . 根据 Cauchy 不 等 式 ,有 


AA NA 

且 当 。= 习 罗氏 加 二 时 ,| 于 | 取得 最 大 人 由 此 可 知 ,梯度 方向 是 本 数 全 上 
升 最 快 的 方向 ,而 函数 值 下 降 最 快 的 方向 是 负 梯 度 方向 . 因此 ,我 们 把 负 神 度 广 
向 叫做 最 速 下 降 方向 (steepest descent direction). 

根据 定理 1. 2.2 ,我 们 还 能 得 到 下 述 重要 结论 

定理 1.2.3 设 /:R'-REeR', 且 7(z) 在 点 宇 处 可 微 . 如 果 存在 非 零 向 量 
d ea", 使 得 /(z)"d <0, 则 d 是 /在 处 的 下 降 方 向 ;而 当 V/(z)"d >0 时 ,d 
是 /在 处 的 上 升 方向 

这 个 定理 说 明 , 与 /在 处 的 梯度 方向 交 成 锐角 的 任何 方向 都 是 /在 = 处 的 
上 升 方向 ;相反 ,与 /在 处 的 梯度 方向 交 成 印 角 的 任何 方向 都 是 /在 处 的 下 
降 方向 . 

下 面 , 我 们 来 看 函数 在 一点 处 樟 度 的 一 个 十 分 重要 的 几何 性 质 - 

设 /RR ,ze R*, 则 f(x) 过 点 的 等 什 面 方程 为 

f(x) =/ (3). 
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记 e=/(E) ,rz= (zzzxs) , 则 上 式 即 为 
fw aa = (1.2.9) 
今 设 1 为 该 等 值 面 上 过 点 五 = (五 ,x，，,… ,x,)" 的 任 一 光滑 曲线 , 则 1 可 由 如 下 参 
数 形式 表示 : 
x1 =%1(t), 
3 (1.2.10) 
xz, =%,(t), 
并 且 对 应 地 有 i 使 
zs =x(E) ,i=1,2,.,n 
显然 ,曲线 1 在 点 处 的 切 向 量 为 
T(x¥) = (xi(i ,xs(1) ,xz )". 
将 (1.2.10) 式 代入 (1.2.9) 式 ,得 
f(xi(t) ,ra(t) zs(t)) =c， 
把 上 式 两 边 对 4 求 导 , 同 时 代入 点 i 得 
ED + ED + + MD =0. 


于 是 得 到 
VC)TITCE) =0. 

上 式 说 明 ,f(x) 在 点 处 的 梯度 与 /(x) 过 点 处 等 值 面 上 任 一 曲线 ! 在 该 
点 的 切线 垂直 ,故而 与 过 该 点 的 切 平 面 垂直 . 或 者 说 ,V1 (x) 是 曲面 /(x) = 
f(¥) 在 点 处 的 一 个 法 线 方向 向 量 (如 图 1.2.1 所 示 ). 

我 们 再 给 出 n 元 函数 的 二 阶 导 数 即 Hesse 矩阵 的 概念 . 

定义 1.2.5 设 /:R" 一 R,X eR". 如 果 / 在 点 处 对 于 自 变 量 x= (x,， 
x ，,"…,%,) 的 各 分 量 的 二 阶 偏 导 数 


ai yi se 
Ox,Ox, 


都 存在 , 则 称 孙 数 (x) 在 点 处 二 阶 可 导 , 并 称 和 矩阵 
of(F) Ff(x) . Ff(F) 


ox? 7 Ox OX, 
of(x) TSF) . of (x) 
Vi) =| Bu 0 Ox Ox, 
Tf(F) Ff) of (x) 
xsgx Orr Ox 
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为 (x) 在 点 处 的 二 阶 导 数 或 Hesse 矩阵. 


: 榴 
T(x) Vx) VE) T(x) 
等 值 线 
等 值 面 

O Ei 2 入 

1 2 
为 
(a) n=2 (bm=-3 


图 1.2.1 玉 /(z) 与 T(F) 的 关系 


在 微 积分 中 已 经 知道 , 当 /(x) 在 点 处 的 所 有 二 阶 仿 导 数 连 绽 时 ,有 
of) fF) ,1 ... 
ts a 
这 时 相应 的 Hesse 矩阵 为 对 称 矩 阵 . 
下 面 介绍 在 今后 的 计算 中 要 用 到 的 向 量 函 数 的 导数 . 
定义 1.2.6 设 h:R" 一 R" ,xeR", 记 
h(x) = (h(x) ,h(x) hs(z)) ， 
如 果 色 (x) (i=1,2,…,m) 在 点 下 处 对 于 自 变量 = (xi va, sz) 的 各 分 量 的 
偏 导数 呈 ( (j=1,2,…,n) 都 存在 , 则 称 向 量 西数 入 在 点 处 是 一 阶 可 导 的 ， 


并 且 称 矩阵 


oh (FE) Oh, (x) 本 oh (无 ) 

oo Ox a, 
Ohi(¥) h(x) ~ oh,(F) 

Vsh(E) =| 5 Ox, Ox, 
Oh,a(x¥) ha(¥) Oh,(¥) 

Ox1 xz Or, 


为 h(x) 在 点 处 的 一 阶 导 数 或 Jacobi 矩阵 , 简 记 为 V h(x). 
我 们 知道 ,n 元 函数 /:R" 一 R 的 梯度 是 向 量 函 数 
rr 
由 定义 1.2.6 知 ,VJ(z) 的 一 阶 导数 或 Jacobi 矩阵 为 
.20 . 


2) 2 ) 2 (Ea 
gx ox Ox2\ ox Ox。 Ox 
2 (Ce)) 2 (Ys)) .., 09/9(x) 
Vs Vx) = | az . Ox 9 Ox, 2 
ax] 2 (wn Sie 人 
Lox, Ox Ox, 人 

[of(x) az) .97() 

xl gxigxa Ox1 Ox, 

ao Of) Hx) 
= | Gx,0x, ox? x0x, |= Vf (x). 

fx) Tf(x) 9 Ff(x) 

L ox,0x, ox,0x, xs 


据 此 可 知 ,函数 梯度 的 Jocobi 矩阵 即 为 该 函数 的 Hesse 和 矩阵 . 
例 1.2.1 设 aeR",xeR",beR, 求 线性 函数 
f(x)=a'x+b CL.11) 
在 任意 点 x 处 的 梯度 和 Hesse 矩阵 . 
解 设 ae=(aa,…a)7r=(zza xz)7, 则 (1.2.11) 式 即 为 


(zi ) = Ban +b. 
因 呈 2 oh,2,. :nm) , 故 得 全/(x) =a. 又 因 
, 


of (x) 
xigxi 


则 jz) 的 Hesse 和 矩阵 为 n 阶 零 矩阵 , 即 Vzr(z) =0. 0 
例 1.2.2 设 QeR' 是 对 称 和 矩阵 ,peR",ceR, 二 次 函数 
f(x) = 了 rrOr+brz+e (1.2.12) 
求 /(x) 在 任意 点 x 处 的 梯度 和 Hesse 矩阵 . 
解 设 
Q= (gust = (mx sx) b= (bb vb) 
则 (1.2.12) 式 即 为 
f(x1sx2, xs) = 2 总 qz 十 Eo +e. 
将 它 对 各 变量 x,(i=1,2,…,n) 求 偏 导数 ,有 


=0(i,j=1,2,.…,n), 
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Vi(x) = 


因而 得 到 


of(x) _ 
再 对 = 


例 1.2.3 设 g(1) =f(x+1id), 其 中 f:R"R 二 阶 可 导 ,xeR",deR",te 


及 , 试 求 pg'(1) ,ep 


YE qx + bh, 和 
x 名 乒 
of (x) & & 
De, 这 ga + by 从 ga | 加 
: ys 
of (x) 
x, + 2 qu 
广 


Vf/(x) =Qxr+b. 
wm + bi.(i = 1,2,…,n) 求 偏 导 得 到 


| 


of(x i 
‘0%, 
9u qn gin 
4: 9 gan 
Vx) =| > ,|=Q. 
qm qm Qan 


"(1t). 


解 ” 由 多 元 复合 函数 微分 法 知 


最 后 ,我 们 


p(t) = Vf(x + tid)'d, 
p(t) = d' Vf(x + td)d. 


给 出 n 元 函数 在 一 点 处 的 Taylor 展 式 , 它 在 最 优化 的 理论 和 方法 


研究 中 有 十 分 重要 的 应 用 . 


定理 1.2.4 设 /:R" 一 R,FeR", 如 果 /(x) 在 的 某 邻 域内 具有 二 阶 连续 


偏 导数 , 则 /在 
/ (x+ Ar) 


证 明 设 p(1) =/(x¥+tAx),te[0,1], 则 pg(0) =/(x),9(1) =f(x+Ax). 


点 于 处 有 Taylor 展 式 


= JEz) + Vf(F) Ar+ 到 arr Var(E+gAr)Ar(0 < 0 < 1). 


按 一 元 函数 Taylor 公式 将 p(t) 在 1=0 处 展开 有 


p(t) = p(0) + 9'(0) 二 (OP (0 <g < 1). 


从 例 1.2.3 得 知 


二 人 


9'(0) =V/(x) "Ax,p"(0) =(Ar)7VzF(E+bAz)Ar. 
把 它们 代入 (1.2. 14) 式 ,并 令 :=1, 即 证 得 (1.2. 13 ) 式 . 0 
由 于 V2/(x) 的 每 一 分 量 在 点 处 连续 , 故 
Of(F+0Ax) FF(F) 
xigxi Ox, or, 
其 中 lim 6 =0. 于 是 ,(1.2.13) 式 也 可 写作 


Tar1 -0 


+8yhiJ=1,2，n， 


f(x+Ax) =/(x) + Vf/(E) Ar +Ar V(x)Ax +o( | Ax | ). 


(1.2.15) 
我 们 分 别 把 (1.2.7) 式 和 (1.2.15) 式 叫做 /(z) 在 点 的 一 阶 Taylor 展 式 和 二 阶 
Taylor 展 式 . 
车 记 x=z+Ax, 在 (1.2.7) 式 和 (1.2.15) 式 中 略 去 高 阶 无 穷 小 量 的 项 后 ， 
相应 地 有 近似 关系 式 
f(x)=/(F) + Vf/(F)" (x -F), (1.2.16) 
(x) AE) + VIE) T(x -下 ) +(x 2) VI/(F) (x -z). 


Ct:17) 
通常 ,把 (1.2.16) 式 的 右边 叫做 函数 /(x) 在 点 处 的 线性 通 近 函数 ;把 
(1.2.17) 式 的 右边 叫做 函数 /(x) 在 点 处 的 二 次 逼近 函数 . 


1.3 最 优化 问题 的 图 解法 


为 了 讨论 二 维 最 优化 问题 的 图 解法 ,下 面 给 出 最 优化 问题 (1.1.1) 的 最 优 
解 和 极 小 点 的 正式 定义 . 
定义 1.3.1 设 /:R" 一 R 为 目标 函数 ,SCR" 为 可 行 域 ,x e 5. 
(1) 若 对 一 切 xe 5, 都 有 
f(x) =/(¥), 
则 称 为 /(x) 在 S$S 上 的 全 局 (或 整体 ) 极 小 点 (global minimum point) ,或 者 说 , 
是 最 小 化 问题 (1.1.1) 的 全 局 (或 整体 ) 最 优 解 ( global optimal solution) ,并 称 
/() 为 问题 (1.1. 1) 的 最 优 值 (optimal value). 
(2) 若 对 一 切 xeS 但 天 这 ,都 有 
f(x) > 三 ) ， 
则 称 五 为 1(x) 在 5 上 的 严格 全 局 (或 整体 ) 极 小 点 (strictly globalminimum 
point). 
(3) 若 存 在 的 8 邻 域 
3 


ms(z) =jxreR |1z- 工 | <6},6>0, 
使 得 对 一 切 xe N(x) nmS, 都 有 
了 (r) > 矿工 ) ， 
则 称 为 /(x) 在 5S 上 的 局 部 极 小 点 (local minimum point) ,或 者 说 ,x 为 极 小 化 
问题 (1. 1. 1) 的 局 部 最 优 解 (local optimal solution). 

(4) 车 存在 王 的 6 邻 域 N,() (5 >0) ,使 得 对 一 切 xe N(x)NS 但 xz# 到 ， 

都 有 
f(x) >f(F). 
则 称 五 为 /(x) 在 S$ 上 的 严格 局 部 极 小 点 (strictly local minimum point). 

由 以 上 最 优 解 的 定义 可 以 看 出 ,三 是 局 部 极 小 点 是 指 在 $ 的 以 为 中 心 的 
某 个 邻 域内 ,f(x) 在 * 处 取 到 最 小 值 . 而 是 全 局 极 小 点 是 指 在 整个 可 行 域 5 
上 ,f(x) 在 点 处 取得 最 小 值 . 局 部 极 小 点 不 一 定 是 全 局 极 小 点 ,但 全 局 极 小 点 
一 定 是 局 部 极 小 点 . 

实际 问题 通常 是 求全 局 极 小 点 ,但 最 优化 中 绝 大 多 数 方法 是 求 局 部 极 小 点 . 
在 实际 中 ,希望 一 个 局 部 极 小 点 是 全 局 的 ,可 以 用 一 系列 的 初始 点 运用 算法 得 出 
若干 极 小 点 ,然后 通过 比较 加 以 检验 . 一 般 来 说 ,即使 只 找到 一 个 局 部 解 也 不 能 
保证 这 个 解 就 是 全 局 最 优 解 . 幸运 的 是 ,从 实际 中 导出 的 问题 ,目标 函数 通常 是 
具有 单个 极 值 的 “良性 ” 函数 ,所 以 采用 数值 方法 得 出 的 最 优化 问题 的 局 部 最 优 
解 ,从 实用 的 角度 来 说 ,并 没有 多 大 缺点 . 

如 果 考 虑 数值 计算 的 精度 ,可 以 用 

f(x) -r>f(F) 
代替 (x) 宇 /() ,其 中 7 是 某 个 很 小 的 正 数 . 

最 后 ,我 们 来 介绍 二 维 问题 的 图 解法 . 从 下 面 几 个 具体 例子 中 ,进一步 加 深 
对 最 优化 基本 概念 的 理解 . 

例 1.3.1 求解 无 约束 极 小 化 问题 

min(x, -2) 2 + (x, -1)°. (dy 

这 是 定义 在 0x,x, 平面 R* 上 的 无 约束 极 小 化 问题 ,目标 函数 (x) = (x, - 
2)?*+(x, -1)? 在 Ox,x, 三 维 空间 中 代表 一 张 曲面 5( 这 里 为 旋转 抛物 面 ). 从 
图 1.3.1 中 的 几何 图 形 可 以 看 出 ,f(x) 在 顶点 (2,1) 处 达到 最 小 值 0. 然而 , 通 
常 的 作法 是 用 平行 于 Ox,x, 面 的 平面 截 曲面 S, 将 其 截 痕 曲线 投影 到 0x,x, 面 上 
得 到 曲面 5 的 等 值 线 图 . 在 同一 等 值 线 上 ,目标 函数 (x) 的 值 相 同 . 求解 极 小 化 
问题 ,无 非 是 在 可 行 域 中 找 一 点 ,使 该 点 处 的 等 值 线 (等 值 面 ) 具 有 最 小 值 . 由 图 
知 ,过 =(2,1)" 的 等 值 线 具有 最 小 值 0, 所 以 = (2,1) 为 问题 (1.3.1) 的 全 
局 极 小 点 ,最 优 值 为 0. 0 
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图 1.3.1 例 1.3.1 的 图 解 


例 1.3.2 用 图 解法 求解 约束 极 小 化 问题 
min (zi -2)° +(x, -1)2; 
了] 
| xi +xza -SS=0. 

从 图 1.3.2 可 以 看 出 ,最 优 解 在 等 值 线 与 约束 直线 的 切 点 = (3,2)" 处 取 
得 .为 问题 (1.3.2) 的 全 局 最 优 解 ,最 优 值 为 /(x) = 2. 0 


图 1.3.2 例 1.3.2 的 图 解 


例 1.3.3 用 图 解法 解 下 述 约束 极 小 化 问题 
min 《2 -2)24+ (za 一 1)23 
st z+2 -5x,=0, 
(1.3.3) 
xi +x, -5>0, 


zi ,x2 0. 


解 (1) 画 出 目标 函数 的 等 值 线 . 
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令 


f(x) =(xz -2) +(za -1) =c(e 为 非 负 常数 ) ， 

在 几何 上 它们 表示 一 族 中 心 在 (2,1) 的 同心 圆 . 

(2) 画 出 约束 区 域 . 

首先 画 出 等 式 约束 x, + 妇 -5x, =0 的 图 形 , 是 一 条 抛物 线 , 再 画 出 不 等 式 约 
东 所 代表 的 区 域 . 通常 先 画 不 等 式 约束 的 边界 曲线 ,然后 根据 不 等 式 的 符号 定 出 
约束 区 域 应 在 该 边界 曲线 的 哪 一 侧 . 

在 图 1.3.3 中 ,抛物 线 弧 4BCD 为 约束 集 . 由 图 可 知 , 当 动 点 从 4 出 发 沿 抛 
物 线 弧 4BCD 移动 时 ,在 弧 4B 段 ,目标 函数 下 降 ; 在 弧 BC 段 ,目标 函数 上 升 ;在 
弧 CD 段 ,目标 函数 值 又 下 降 . 易 知 ,也 是 可 行 域 上 使 目标 函数 值 最 小 的 点 , 它 是 
全 局 最 优点 ,其 坐标 由 方程 组 

xi + 和 一 5xz =0， 
忆 +x, -5=0 

确定 . 从 而 求 得 问题 (1.3.3) 的 全 局 最 优点 = (4,1)"( 该 方程 组 的 另 一 解 为 点 
4(0,5) ,不 是 最 优点 ). 


图 1.3.3 例 1.3.3 的 图 解 


从 几何 上 ,我 们 还 可 观察 到 约束 曲线 弧 4BCD 与 等 值 线 共有 两 个 切 点 B 和 
C, 这 里 B.C 分 别 是 问题 (1.3.3) 的 局 部 极 小 点 和 局 部 极 大 点 . 抛物 线 与 等 值 线 
的 另 一 切 点 5 不 在 问题 (1.3.3) 的 可 行 域 中 . 0 

从 以 上 几 个 例子 可 以 看 出 ,二 维 最 优化 问题 具有 鲜明 的 几何 解释 ,因而 可 以 
借助 于 图 解法 求 得 其 最 优 解 . 我 们 可 以 象征 性 地 把 这 种 几何 解释 推广 到 n 维 空 
间 , 这 对 于 理解 和 掌握 有 关 理 论 和 方法 是 大 有 帮助 的 . 
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RED 


1. 试 建立 如 下 投资 问题 的 数学 模型 :假设 某 公 司 在 某 一 计划 期 内 可 用 于 投资 的 总 金额 
为 5 万 元 ,可 供 选择 的 投资 项 目 共有 个 . 已 知 第 ;个 项 目的 投资 额 为 。, 万 元 ,收益 额 为 6 万 
元 . 问 如 何 进行 投资 ,才能 使 利润 率 最 大 ? 
2. 计划 在 一 段 起 伏 的 地 形 上 修筑 一 条 公路 . 假设 建筑 的 费用 与 增添 或 清除 的 泥土 总 量 
成 正比 . 设 7 为 公路 之 长 并 设 ce(+) 是 在 任 一 给 定 te [0,T] 处 地 形 的 已 知 高 度 . 为 避免 公路 
过 分 倾斜 ,最 大 坡度 不 应 当 超过 b, ;同时 ,为 减少 公路 的 崎 岂 ,要 求 公路 坡度 的 变化 率 不 超过 
65,. 试 寻求 描述 公路 高 度 y(:) (te [0,7] ) 的 方程. 
3. 给 定 空间 中 N 个 点 MM,(%,,y,,z,) (i=1,2,… ,NN) , 问 如 何 找 一 个 最 小 的 球 完全 包含 这 
个 点 ,并 使 球 心 位 于 中 心 为 原点 的 单位 球面 的 第 一 填 限 上 ? 试 写 出 该 问题 的 最 优化 模 现 . 
4. 用 图 解法 求解 下 列 问题 : 
min x+xai 
(1) st -x -x +1>0, 
刀 + 妇 -9=0. 
min x+(xz-1)2+1; 
st x -x +22>0, 
(2) x 
x1 0, 
x > 0. 
5. 求 下 列 函 数 的 梯度 和 Hesse 矩阵 : 
(AC 
(2) f(x) =g(x) "g(x) ,其 中 有 :BR 一 BR 
6. 设 x= (zi,za) ,计算 Powell 函数 
fx) =x +x +(1+z) 
的 梯度 和 Hesse 矩阵 ,并 求 YJ(0) ,Vf(0) ,由 此 验证 Vzr(0) 是 非 正 定 的 . 
7. 设 x=(% ,za) ,对 Rosenbrock 函数 
A(z) =100(x, -#7)* +(1-x) 7， 
写 出 它 的 梯度 和 Hesse 矩阵 ,并 且 验 证 对 于 满足 VJA(E) =0 的 ,Vzr(Ez) 是 正定 的 . 
8. 对 于 正定 二 次 函数 


f(x) = Or +b'r+e, 


其 中 2 为 正定 矩阵 ,证 明 = - Q -2 为 其 严格 全 局 极 小 点 . 
9. 设 方向 d 是 函数 /在 点 x 处 的 下 降 方 向 , 令 

HT dd VIVA 

Ad Vf(x) V/(x)" V/A(x) 


其 中 了 为 单位 矩阵 ,证 明 方 向 p= - 吾 VVf(x) 也 是 函数 /在 点 x 处 的 下 降 方向 . 
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第 二 章 ” 马 性 


凸 性 是 最 优化 理论 必须 涉及 的 基本 概念 . 具有 凸 性 的 非 线 性 规划 模型 是 一 
类 重要 的 特殊 模型 , 它 在 最 优化 的 理论 证 明 及 算法 研究 中 具有 非常 重要 的 作用 . 

本 章 先 介绍 是 集 、 凸 集 分 离 定理 和 多 胞 形 的 表示 定理 ,再 阐述 凸 函数 的 概念 
及 性 质 , 最 后 讨论 具有 同性 的 非 线 性 规划 一 一 凸 规划 问题 


2.1 凸 集 


凸 集 是 最 优化 的 基础 . 下 面 我 们 要 介绍 凸 集 的 定义 和 几 个 基本 性 质 . 
2.1.1 凸 集 的 概念 及 性 质 


首先 给 出 R" 中 有 限 个 点 的 凸 组 合 的 概念 . 
给 定 mm 个 点 ,x2，… ,x ER 和 实数 A,,A，…,A。, 称 表达 式 
AZ + A 十 … 直人 aEZw (2 1..1) 
为 点 x, ,x，，… ,x 的 线性 组 合 (linear combination). 
特别 地 , 当 和 A +A2+… +A。=1 时 , 称 (2.1.1) 式 为 点 x ,x2，,… ,x。 的 仿 射 
组 合 (affine combination); 
当 A+A+…+As=1l 且 AAA …Asz>0 时 , 称 (2.1.1) 式 为 点 交 ， 
zs 的 凸 组 合 (convex combination) ; 
当 A+A +……+As=1 且 AAA …,Ao>0 时 , 称 (2.1.1) 式 为 点 xi， 
x ，… ,x 的 严格 凸 组 合 (strietly convex combination ) ; 
当 A,A;，…,As0 时 , 称 (2.1.1) 式 为 点 xyza，…，zn 的 凸 锥 组 合 ( convex 
cone combination ) . 
图 2.1.1 给 出 了 二 维 情况 下 两 点 x, ,x, 的 组 合 图 示 . 从 图 2. 1. 1(c) 可 以 看 
出 ,两 点 x ,xs 的 是 组 合 在 几何 上 表示 连接 这 两 点 的 线段 , 记 作 硬 二, 即 
T= reR lxr=Ar+(l -A)xr,A ee [0,1]l. 
现在 给 出 凸 集 的 定义 . 
定义 2.1.1 设 SCR", 如 果 对 任意 x,,x,e5, 有 
Axi + (1 -A)x, e S,VA e [0,1], 
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(a) 线性 组 合 为 全 平面 (b) 仿 射 组 合 为 直线 
略 得 ml 
(e) 凸 组 合 为 线段 (d) 凸 锥 组 合 
(严格 凸 组 合 不 含 端点 ) 


图 2.1.1 二 维 情况 下 两 点 的 组 合 


则 称 5 为 R" 中 的 凸 集 (convex set). 
从 定义 可 以 看 出 , 凸 集 是 这 样 的 集合 ,连接 其 中 任意 两 点 的 线段 上 所 有 的 点 
都 属于 此 集合 . 图 2. 1. 2 画 出 了 凸 集 和 非 凸 集 的 图 形 . 


(9) 凸 集 (b) 非 凸 集 
图 2.1.2 凸 集 与 非 凸 集 


由 定义 2.1. 1 ,容易 验证 下 列 结 论 是 正确 的 : 

(1) 空 集 儿 和 全 空间 R" 是 凸 集 . 

(2) 设 aeR",az0, 且 aeRR, 则 超 平面 (hyperplane) 

1=lreR lerz=al 
是 凸 集 ;半空 间 (halfspace) 
H = ixeR'laxr<al,H= ixreR|lar>al 

也 都 是 凸 集 . 

(3) 设 xoe BR",8>0, 则 点 zxo 的 5 邻 域 , 即 开 超 球 (open hypershere) 
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N(xo) = {xeR"| lxr-xr ll<é} 
是 凸 集 . 
定理 2.1.1 任意 多 个 凸 集 的 交集 是 凸 集 . 


证 明 设 S Sa'(ie 门 是 凸 集 ,其 中 7 为 指标 集 , 记 $ = 人 S. 对 于 任意 ， 
xr es, 有 xzriresi(yies 站 ). 因 3S; 为 凸 集 , 故 z 与 x, 的 凸 组 合 属于 5,(ie71)， 
从 而 该 凸 组 合 也 属于 5, 即 5 为 凸 集 . 0 

由 定义 2.1. 1 不 难 推出 

定理 2.1.2 设 5,,5,CR" 是 凸 集 ,A e 录 , 则 

(1) S, +5, = jx +x2 |x, eS,,x, eS,| 是 凸 集 ; 

(2) S, -5, = |x, -za |x eS,,x; eS,| 是 凸 集 ; 

(3) AS, = |Ax |xe 5,| 是 是 集 . 0 

定理 2.1.3 SC R" 是 凸 集 当 且 仅 当 对 于 任意 正 整数 m2,5 中 任意 mm 个 
点 fivza ,fn 的 一 切 凸 组 合 都 属于 5. 

证 明 ”充分 性 显然 . 下 证 必要 性 . 设 5 是 是 集 , 对 m 用 数学 归纳 法 证 明 . 当 m 
=2 时 ,由 凸 集 的 定义 知 结论 成 立 . 假设 m = 上 时 结论 成 立 . 下 面 考虑 m =k+1 时 
的 情形 . 令 


= ZA 


a 
其 中 x eS,A,>0,i=1,2,…,k+1, 且 》 A 和, =1. 不 妨 设 和 ,1 关 1( 不 然 x* =xi,, 5， 
结论 成 立 ) , 记 


有 xz=(1-Ati)y+Ateoxe 又 
2 i 
re et D> ey 
则 由 归纳 假设 知 ,ye 5. 而 xi,,e5 且 5 是 凸 集 , 故 xe5. 0 
定义 2.1.2 设 SCR", 则 5 中 任意 有 限 个 点 的 所 有 凸 组 合 所 构成 的 集合 称 
为 $ 的 凸 包 ( convex hull) , 记 为 H(S) , 即 


H(S) = {Dal < 5S,A,>0,i= 2 sm Dh = l,meN,), 


其 中 ,为 所 有 正 整数 的 集合 . 特别 地 , 若 S = |x,,x2,…,x| , 则 称 有 (5) 是 由 
xz， 所 生成 的 凸 包 . 
图 2.1.3 给 出 了 一 个 集合 的 凸 包 的 图 形 . 
易 知 , 集 5 的 凸 包 H(S) 是 凸 集 . 
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定理 2.1.4 设 SSR'", 则 妞 (S) 是 R" 中 所 有 包含 5 的 凸 集 的 交集 . 

证 明 设 R" 中 所 有 包含 5 的 凸 集 的 交集 为 C, 则 由 定理 2.1.1 知 ,C 为 
凸 集 . 

因为 SG 有 (S) ,HS) 是 凸 集 , 所 以 CEB(S). 又 注意 到 SCC 及 C 为 凸 集 ， 
而 H(5) 是 由 S 中 的 点 即 C 中 一 部 分 点 的 凸 组 合 构成 的 ,因此 由 定理 2.1.3( 必 
要 性 ) 可 知 H(S) EC. 所 以 ,C = 有 CS). 0 

由 定理 2.1.4 知 ,有 (S) 是 包含 集合 5 的 最 小 凸 集 . 

一 类 重要 的 凸 集 是 凸 锥 . 

定义 2.1.3 设 SCR",x。e5, 如 果 对 一 切 xeS 及 和 A>0, 有 x。+Axe5S, 则 
称 S 是 以 x。 为 顶点 (vertex) 的 锥 (cone). 如 果 锥 $ 又 是 凸 集 , 则 称 5 为 凸 锥 
(convex cone ) . 


图 2.1.4 给 出 了 凸 锥 和 非 凸 锥 的 图 例 . 


(a) 凸 锥 (b) 非 凸 锥 
图 2.1.3 集合 S 的 凸 包 有 CS) 图 2.1.4 凸 锥 与 非 凸 锥 


设 x ,x,,… ,x。e R" ,不 难 知道 ,集合 
S = {x|* = FA, > 0,i = 1.2. um} 
是 一 个 凸 锥 ,我们 称 5 为 由 x ,x,，,… ,x。 所 生成 的 凸 锥 . 


2.1.2 凸 集 分 离 定 理 与 Farkas 引 理 


凸 集 的 许多 重要 应 用 都 要 涉及 凸 集 的 分 离 性 质 . 为 此 ,下 面 讨 论 凸 集 的 分 离 
问题 . 
定义 2.1.4 设 5,,S,CR" 是 非 空 集合 ,如 果 存 在 PeR' ,pz0 及 aeRR, 使 
SCH = |!xeR'|p'r<al, 
5, CH*= |!xreR'|p'x>al, 
则 称 超 平面 万 = |x e R" | p'x =al 分离 集 合 5S, 和 5,. 
在 介绍 凸 集 分 离 定理 之 前 ,我 们 先 给 出 闭 凸 集 的 一 个 性 质 . 
定理 2.1.5 设 SCR 为 非 空间 凸 集 ,ye R"\5, 则 存在 惟一 的 e 5, 使 得 它 
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与 》 的 距离 为 最 小 , 即 有 
Ni-yl =inf{llx-yl lxres} >0. 
证 明 考虑 单位 超 球 B= {zeR" | | z|| <11, 取 充分 大 的 B>0, 使 
D= SN(|lyl +BB) *# 8. 
因为 5 是 闭 集 , 1y) +BB 是 有 界 闭 集 ,所 以 D 是 非 空 有 界 闭 集 . 于 是 ,连续 函数 
f(x) = x-y 中 在 D 上 取 最 小 值 . 设 这 个 最 小 值 在 eD 处 达到 , 即 为 y 到 5 
的 最 小 距离 点 . 
再 证 惟一 性 . 设 存 在 *e 5, 使 
Ni-yl = la-yl =r, (2.1.2) 


< I ee 
lx-yl<F13-yl +F li-yl =7, 


因为 5 是 凸 集 ,所 以 es 8$. 由 于 7 是 最 小 距离 ,因此 
zs-yl =r. (2.1.3) 
根据 平行 四 边 形 定律 (对 角 线 的 平方 和 等 于 一 组 邻 边 平方 和 的 二 倍 ) ,有 
Ni-zil* +4lz-yl’ =21z-yl* +21-yl’, 
从 而 ,由 (2.1.2) 和 (2.1.3) 两 式 得 
I -zl* =0, 
所 以 二 = 环 . 0 
现在 给 出 凸 集 分 离 定理 . 
定理 2.1.6 设 SCR" 是 非 空 闭 凸 集 ,ye R"\5, 则 存在 pe R",px0 及 ae 
有 ,使 
prr<a<py,yreS， 
即 存在 超 平面 HH= |xe R" |Px=al 分 离 ? 和 S. 
证 明 由 于 SCR" 为 非 空 半 凸 集 ,? < 5, 因 此 由 定理 2.1.5 知 ,存在 *e 
5, 使 
li-yl =inf{lxr-yl lxe sl >0. 
因 5 为 凸 集 , 故 对 一 切 xeS 及 Ae(0,1), 有 
Ax+(1 -A)xesS. 
于 是 
1 二 -yz< Ar+(l Az-yl’ = |(z-y) +A(x -x) | 
= Ji-yl +A lr-zl? +2A(F-y)" (x -zx), 
从 而 
Alx-xl*+2(F-y) (rx -xF)>0,VAe (0,1),vVres. 
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在 上 式 中 令 和 A 一 0' ,得 
(F-y)'(x-x)>0,Yres. 
记 p =y -x, 则 pz0, 且 
p(x-x)<0,Vres. 
又 记 a=p'x, 则 有 
px<p'r=a,Vres. 
另 一 方面 ,因为 
py-a=p'(y-x) = |y-zl* >0, 
所 以 p'x<a<p'y, Vxes. 0 
作为 凸 集 分 离 定理 的 应 用 ,最 后 我 们 介绍 在 最 优化 理论 中 十 分 重要 的 
Farkas 引 理 . 
定理 2.1.7(Farkas 引 理 ) 设 AeR",beR", 则 下 列 两 个 关系 式 组 有 且 
仅 有 一 组 有 解 : 
4r <0,b'r >0; (2.1.4) 
AYy =b,y > 0. (2 
证 明 设 (2.1.5) 式 有 解 , 即 存在 3>0, 使 4"y=5b, 若 有 使 4t<0, 则 有 
b'xi =y'AT <0, 
这 表明 (2. 1.4) 式 无 解 . 
再 假设 (2. 1. 5) 式 无 解 , 记 
S= |z|z =A'y,y>0|, 
则 5 是 非 空 闭 凸 集 , 且 b#5, 由 定理 2.1.6, 存 在 peR",pz0 及 aeRR, 使 
pz<a<p'b,Vzies. 
因 0e 5, 故 由 上 式 知 a>0, 从 而 p'b>0, 于 是 
a>pz=p4hy = yAp,Vy> 0. 
由 于 y>0,y 的 分 量 可 以 任意 大 ,因此 Ap <0, 这 样 就 找到 了 pe R", 使 Ap <0， 
P75 >0, 即 (2.1.4) 式 有 解 . 0 
下 面 我 们 对 Farkas 引 理 作 一 几何 解释 . 设 4 的 第 i 个 行 向 量 为 a,i =1， 
2,…,m, 则 (2.1.4) 式 有 和 解 当 且 仅 当 凸 锥 |x | 4x<01 与 半空 间 |x | bx >0| 的 交 
不 空 , 也 就 是 说 ,(2. 1.4) 式 有 解 当 且 仅 当 存 在 向 量 x, 它 与 各 a, 的 夹 角 为 钝 角 
或 直角 ,而 与 5b 的 夹 角 为 锐角 . (2. 1.5) 式 有 解 当 且 仅 当 4 在 由 a ,a,,… ,a 所 
生成 的 凸 锥 内 . 图 2. 1. 5 能 够 帮助 我 们 理解 这 两 个 问题 之 间 的 关系 . 
利用 Farkas 引 理 可 推导 下 述 的 Gordan 定理 和 择 一 性 定理 . 
定理 2.1.8(Gordan 定理 ) 设 A4eR"”, 则 下 列 两 个 关系 式 组 有 且 仅 有 一 
组 有 解 : 
Ar < 0; (2.1.6) 
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(2.1.4) 式 有 解 (2.1.5) 式 无 解 (2.1.5) 式 有 解 (2.1.4) 式 无 解 
图 2.1.5 Farkas 引 理 的 几何 解释 


A'y = 0,y > 0,y #0. (7 
证 明 如果 (2. 1.6) 式 有 解 , 即 存在 TeR", 使 4 <0, 则 Vy 之 0,7 关 0, 有 
站 AX <0, 即 AT"F<0, 这 表明 (2.1.7) 式 无 解 . 
如 果 (2.1.6) 式 无 解 , 则 不 存在 a<0 及 xeR", 使 Ax<(a,a,…,a)". 记 
A=(A,-e),b = (0,0,.…,0, -1)" e R"", 
其 中 e=(1,1,…,1)"eR", 于 是 不 存在 a<0 及 xeR", 满 足 


a[*]<0.3["] > 0， 


即 上 式 关系 组 无 解 . 于 是 由 Farkas 引 理 ,下 述 关系 组 


Ay=b,y>0 

有 解 , 即 关系 式 组 
4T7 =0,ey=1,y>0 
有 解 ,这 等 价 于 (2. 1.7) 式 有 解 . 0 
定理 2.1.9( 择 一 性 定理 ) 设 AeR",BeR”, 则 关系 式 组 

4r <0,Br =0 (2.1.8) 
无 解 当 且 仅 当 存 在 we R",u>0,uz0 和 veR" ,满足 

Au+B'v=0. (2.1.9) 


证 明 式 (2.1.8) 无 解 等 价 于 不 存在 a<0 及 x eR" ,满足 
Axr < (a,a,…,a)' ,Br <0,-Br<0. 
记 


Fe 

A | B | = (0.0…,0,， -1)" e ER", 
-B 0 

其 中 e=(1,1,…,1) "eR", 则 不 存在 a<0 及 xeR", 满 足 

yy 


六 「 蕊 zT[* 
32["]<0,5[]>°. (2.1.10) 


这 说 明 (2. 1.8) 式 无 解 当 且 仅 当 (2. 1. 10) 式 无 解 . 
根据 Farkas 引 理 ,(2. 1. 10) 式 无 解 等 价 于 关系 式 组 
2 =5y>0 
有 解 . 记 


则 有 
Au+B'w-B'z=0, 


| Tu = 1， 
u>=0,w>=0,z>=0. 
由 ewwu=1 知 wz0, 再 令 v=w--z, 则 知 (2.1.9) 式 成 立 . 0 


2.2 多 胞 形 的 表示 定理 


因为 R" 中 的 半空 间 是 闭 凸 集 ,所 以 a" 中 任意 个 半空 间 的 交集 也 是 闭 凸 集 . 
我 们 称 R" 中 有 限 个 半空 间 的 交集 为 多 胞 形 ( polytope) , 非 空 有 界 的 多 胞 形 称 为 
多 面体 (polyhedron). 


由 于 超 平面 
H=!xeR'|p'xr=al 
可 以 表示 为 两 个 半空 间 
Hi=ixeR'|lpxs<al,H’= xeR|p'x>al 


的 交集 , 即 =H NH' ,因此 超 平面 是 多 胞 形 . 
设 AeR"",beR", 记 
K= ixzl4r = b,x>0}. (2 和 
注意 到 是 m 个 超 平面 与 个 半空 间 的 交集 ,从 而 天 是 多 胞 形 . 
需要 指出 的 是 ,本 节 中 所 出 现 的 天 均 是 (2.2.1) 式 中 定义 的 多 胞 形 ,并 且 把 
和 矩阵 4 的 第 j 列 p, 称 为 x 的 第 j 个 分 量 * 对 应 的 列 向 量 . 
定义 2.2.1 设 SSR" 是 凸 集 ,xeoeS, 若 xo 不 能 表示 成 S 中 两 个 不 同 的 点 
的 严格 凸 组 合 , 则 称 x。 是 5 的 极点 (extreme point). 
换言之 ,x。 为 凸 集 5 的 极点 是 指 : 若 存在 ri ,x, e 5, 使 
Xo = Aorl +(1-Ao)xr0O<Ao<1， 
则 必 有 x， = 
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例如 ,在 平面 上 , 闭 三 角形 区 域 的 极点 是 三 角形 的 3 个 顶点 ; 闭 圆 域 的 圆周 
上 任 一 点 都 是 极点 ; 开 圆 域 没有 极点 ;原点 是 每 个 象限 区 域 的 惟一 极点 ;整个 平 
面 没有 极点 . 

一 般 地 ,多 胞 形 不 一 定 有 极点 ,但 我 们 有 

定理 2.2.1 若 Kz 纪 , 则 K 必 有 极点 . 

证 明 设 x。e 居 , 若 x 不 是 KK 的 极点 , 则 存在 ,Xe KK, 及 Ao Ee 
(0,1) ,使 


Xo = Aox + (1 — Ao)T. (2.2.2) 
因 z 牙 , 故 不 妨 设 * 至少 有 一 个 分 量 大 于 对 应 的 分 量 , 令 
Al = nin > 志 ]， 


则 A >0, 且 
x = AF+(l-A)E=E+A (FT-zt) >0, 
Ax, = AAF + (1 - A)AE = b, 
即 x, eK. 又 注意 到 , 若 ro 的 某 个 分 量 为 0, 则 由 (2.2.2) 式 知 ,x 中 与 之 对 应 的 
分 量 也 为 0, 从 而 x, 对 应 的 分 量 也 为 0, 于 是 由 A, 的 取 法 知 ,x, 较 ro 至 少 增加 
-个 零 分 量 . 如 果 x, 仍 不 是 K 的 极点 , 则 用 x, 代替 x。 重复 上 述 做 法 ,得 到 x, e 
K, 且 x 比 x, 至 少 增加 一 个 零 分 量 . 由 于 K 中 点 的 零 分 量 个 数 不 能 无 限 地 增加 ， 
因此 ,要么 终止 于 某 一 步 , 找 到 K 的 一 个 极点 x; 要 么 找到 x, =0, 显 然 此 时 0 为 
KK 的 极点 . 0 
下 面 的 定理 给 出 了 KK 中 极点 的 一 个 特征 刻画 . 
定理 2.2.2 设 eK, 则 x 为 K 的 极点 的 充 要 条 件 是 x 的 非 零 分 量 对 应 的 
列 向 量 线性 无 关 . 
证 明 设 eK, 不 失 一 般 性 , 设 主 的 非 零 分 量 依次 为 ,和 ,它们 对 应 
的 列 向 量 依次 为 p,,p，,… ,Pp,, 则 
AX = zp + p+ +i,p, =b. 


如 果 p,,p，,…,p, 线性 相关 , 则 必 有 不 全 为 0 的 数 由 ,d,,… ,d, ,使 


2 oP = @. 
邻 d=(di,d;,…,d,,0,0,…,0)"eR", 因 为 克 >0(1<j<7) ,所 以 可 选取 充分 小 
的 a>0, 使 
+ed>0,7-ed>0 
由 于 
A(x¥ +ed) = AT +eAd =b, 
因此 +ed,xeK, 而 
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天 = 半 G+ed) + 十 (- ed)， 


即 主 可 表示 为 K 中 两 个 相 异 点 的 严格 凸 组 合 , 故 不 是 的 极点 . 
反 过 来 ,设计 的 非 零 分 量 对 应 的 列 向 量 p,,p,,…,p, 线性 无 关 ,如 果 存 在 
Xia E 天 ,使 
元 =Aoxrl+(1-Ao)xr,0O<Ao<1l， 
则 由 分 量 元 =0(r+1<j<n) 可 知 
《0D 0 


为 =% =0r+lsjsn. 


又 由 Ax, = 和 Ax,=b 可 知 


Dp = bp =b, 
即 
> (xi -x )p, = 0. 
再 由 p,,p，，,… ,Pp, 线性 无 关 , 可 知 
4 =z1 jer, 
从 而 x， =x, ,所 以 于 为 的 极点 . 0 
根据 这 个 定理 ,K 的 极点 个 数 不 超 过 和 矩阵 4 中 线性 无 关 的 列 向 量 组 的 个 数 ， 
所 以 我 们 有 
推论 2.2.3 的 极点 个 数 是 有 限 的 . 0 
当天 关 包 时 , 设 大 的 全 部 极点 为 zi ,x，，… ,x ,k 宇 1, 记 有 限 点 集 |x) ,x,，…， 
| 的 西 包 为 上 , 即 
R= {Sal >00 <i<sh), DA =1). 
又 记 
Ko= ye R'|Ay =0,y>0}!, 
则 显然 0 e Ko , 即 Kz 儿 . 
定理 2.2.4 若 Kzx 名 , 则 
天 =R+K, = r+y|lxe RK,ye Kl}. 


证 明 ” 先 证 K2K+K。. 
任 取 xe 尺 + Ko, 则 存在 A,>0(1<i<k)，》 A;=1 及 yeK, 使 
x= > Axi+ty. 


从 而 x>0, 且 
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hr = > Ah +Ay = Tap =b, 
这 表明 x ek. a 和 
再 证 KCR+K. 
设 xeK, 对 x 的 非 零 分 量 个 数 用 归纳 法 证 明 x e 尺 +K。. 


当 x 的 非 零 分 量 个 数 为 0 时 , 即 x=0, 由 极点 的 定义 ,x =0 为 K 的 极点 ， 
从 而 


x=0+0eKR+ 人 kK,. 
现在 假设 x 的 非 零 分 量 个 数 小 于 +r 时 ,x e 尺 + Ko. 下 设 x 的 非 零 分 量 个 数 


等 于 r(1<r<n) ,不 失 一 般 性 , 设 x 的 非 零 分 量 为 x, ,x,,… ,x,, 它 们 对 应 的 列 向 
量 为 p,,p，，,…,p, 若 p,,p,,…,p, 线性 无 关 , 则 由 定理 2.2.2 知 ,x 是 K 的 极点 ， 


显然 x =x +0e 尺 + Ko. 若 p1,p，，…,p, 线性 相关 , 则 必 存 在 不 全 为 零 的 数 d,， 
d,，,…,d,( 不 妨 设 其 中 至 少 有 一 个 正 数 ) ,使 
Yap -0. 
各 
记 d= (di,d;,…,d,,0,0,…,0) ”eR", 并 令 
ce = min{ 生 |4 > 0 sjs< 路 ， 
人 


X=x-ed, 


则 e, >0,xeKK, 且 的 非 零 分 量 个 数 小 于 ,从 而 由 归纳 假设 知 ,xe 尺 +K。, 即 存 


在 A,>0(1<i<k)，》 和 ,=1 及 yekK, 使 


各 
4 

下 = 5 Ar, + (2.2.3) 
各 


下 面 分 两 种 情形 讨论 . 
(1) 若 d=0, 则 由 4a 的 取 法 知 d0,4d =0, 即 deKo, 又 由 (2.2.3) 式 知 
= 天 +eld = Aixi + 人 +eid)， 
并 注意 到 e, >0,7e Ks,d e Ks, 因 此 由 K 的 定义 知 了 +eide Ko, 从 而 x e+ Ko 
(2) 车 d 关 0, 令 
B2 = max| 到 | < 0,1 三 ) 三 路 
-sd 
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则 e; <0,zeK, 且 的 非 零 分 量 个 数 小 于 7, 于 是 由 归纳 假设 知 ,ze 尺 +K, 即 存 


在 A,>=0(1<i<k)， >》 1%,=1 及 3e kK, 使 
人 
Es 》 Kx + (2.2.4) 


若 记 a = 


全 , 则 0<a<1, 且 
ea 


开本 £1 二 二 
2 = 一 -一 一 兄 十 =ax+(l -a)r. 
Eel-E €1 一 Ba 


从 而 由 (2.2.3) 和 (2. 2.4) 两 式 ,得 


x= 5 aAit(l -oh)r+(ay + (1 -a)y), 


并 且 
ahi+ (1 -a)i,>0,1<i<k, 
: 
DS aAit(l-a)i)=a+(l-a)=1. 
又 易 知 a 了 +(1 -a)3eK,, 因 此 xeR+K,. 0 


推论 2.2.5 设 K 名 , 则 有 界 的 充 要 条 件 是 K。= 101. 

证 明 若 K,= 10|, 则 由 定理 2.2.4, 对 于 任意 xeK, 存 在 A,>0(1<i<k)， 
> A,=1, 使 x= > Aizi 取 

M, = max | xi +1， 
各 ee 
lxl*< D9 lxll*< Tam, =M,VxekK, 

即 K 有 界 . a 

反 过 来 ,车 存在 3e Ko,3z#*0, 即 存在 1<t<n, 使 》 >0, 则 对 于 任意 M>0, 取 
三 e 久 ,并 令 


a 
. =2+ (5 + 1)3, 
则 易 知 eK, 且 
元 = 元 +( 王 +) 和 = 到 +W+ 允 > MM， 
元 
即 知 天 无 界 . 0 


由 这 个 推论 立即 得 到 下 面 的 一 个 重要 结论 . 
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推论 2. 2.6( 多 面体 表示 定理 ) 车 上 是 非 空 有 界 集 ,x, ,x,,… ,x, 是 天 的 全 
上 
部 极点 , 则 xsK 的 充 要 条 件 是 存在 A;>=0(1<i< 上 ,> 4, =1, 使 


r= DA 0 

这 说 明 多 面体 就 是 由 其 全 部 极点 所 生成 的 凸 包 . 类 似 于 多 面体 表示 定理 ,下 
面 给 出 多 胞 形 表示 定理 ,为 此 引进 凸 集 的 方向 和 极 方向 的 概念 . 

定义 2.2.2 设 SCR" 是 非 空 凸 集 ,de R" ,dz0, 如 果 

x+hAMdeSyVreS,YyA>0， 

则 称 4 是 5 的 一 个 方向 (direction). 又 设 由 和 地 
是 5 的 两 个 方向 , 若 存在 a >0, 使 d=ad,, 则 称 d， 
和 4d, 是 相同 的 方向 . 如 果 $ 中 的 方向 d 不 能 表示 
为 两 个 不 相同 的 方向 的 正 的 线性 组 合 , 则 称 d 为 5 
的 极 方向 (extreme direction ) . 

在 图 2.2.1 中 ,方向 d 和 d, 是 极 方向 ,而 方 
向 d, 不 是 极 方向 . 图 2.2.1 极 方向 与 非 极 方向 

定理 2.2.7 设 K 名 @, 则 4 为 K 的 方向 当 且 
仅 当 


d>0,d 关 0,4d = 0. (2.253) 
证 明 车 d 满足 (2.2.5) 式 , 则 对 于 任意 xeK 及 A>0, 有 x+Ad>0, 目 
A(x +Ad) = Axr +AAd =b, 
即 x+AdeK, 故 4d 为 K 的 方向 . 
反 过 来 ,车 d 是 的 方向 , 则 dzx0, 且 对 任意 xeK 及 和 A>0, 有 x+Ade 
K, 即 
A(x+Ad) =b,x+Ad>=0. 
因 hx =b,x>>0, 和 A 可 取 任 意 正 数 , 故 
Ad = 0,d >0, 
即 (2. 2.5) 式 成 立 . 0 
由 定理 2.2.7 可 知 ,当天 关外 9 时 ,4 为 的 方向 当 且 仅 当 deKo 且 d 天 0， 
于 是 由 推论 2. 2.5 即 知 ,K 为 有 界 集 当 且 仅 当天 没有 方向 . 
为 了 讨论 K 的 极 方向 的 特征 ,我们 记 
K, =iy714y7 =0,ey = 1,y>0}, 
其 中 e=(1,1,…,1)" eR”. 


根据 定理 2. 2.7 和 KK。 的 定义 , 易 知 4d 为 上 的 方向 当 且 仅 当 -入 eR 并 且 还 
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可 以 得 到 
引 理 2.2.8 4 为 K 的 极 方向 当 且 仅 当 -和 为 的 极点 


证 明 必要 性 . 设 4d 为 K 的 极 方向 ,由 上 知 ,2 = eR 如 果 存 在 y,,y, e 


,及 Ae (0,1) ,使 得 
d= Ay, + (1 -A)y,, 

则 

d = ed(Ay, + (1 -A)y,). 
由 于 d 是 K 的 极 方向 , 且 Ae'd >0,(1 -和 A)e"'d >0, 因 此 y, 与 y, 必 是 两 个 相同 的 
方向 , 即 存 在 a >0, 使 得 y, =ay,. 于 是 有 

d = ed(Aay, + (1 - A)y,). 
由 ye KR, 知 e™y, =1, 从 而 把 上 式 两 边 同时 左 乘 e" ,得 

1 = (Aa+ (1 -A))ey, =A(a-1)+1, 

所 以 a=1, 即 y, =y,, 这 表明 4 是 K, 的 极点 . 


充分 性 . 设 - 为 KK, 的 极点 ,显然 4 为 K 的 方向 . 假若 d 不 是 K 的 极 方向 ， 


则 中 存在 两 个 不 相同 的 方向 y, 和 y,, 及 B,,B, >0, 使 得 
d = Biy, + Byya. 
因 y, 和 y, 是 的 两 个 不 相同 的 方向 , 故 由 定理 2.2.7 知 
p10,y > 0, #0,y, #0,y, #7y,, 
所 以 ey, >0,e'y, >0, 并 且 
1 ed Bey, ,Be'y, 
Be CL 
ed ed ed 
于 是 
d _Bey, y, ,Be'y, y 
= 中 
ed ed e'y, erd er 


这 说 明 -入 可 以 表示 为 KR 中 两 个 不 同 的 点 的 严格 凸 组 合 ,此 与 -9 为 K, 的 极点 


相 矛 盾 . 
根据 推论 2. 2. 5 ,K 为 无 界 集 当 且 仅 当 Ko 关 101 ,而 后 者 又 等 价 于 开关 纪 ， 
即 K。 为 多 面体 . 因为 K, 与 天 具有 相同 的 形式 ,所 以 由 定理 2. 2. 1 和 推论 2. 2.3 
可 知 , 多 面体 K。 存在 有 限 个 极点 . 再 由 引 理 2.2.8 知 , 当 天 为 无 界 集 时 ,K 存在 
有 限 个 极 方向 . 由 此 可 以 给 出 集合 K。 的 另 一 种 表示 - 
引 理 2.2.9 设 K 为 无 界 集 , 是 天 的 全 部 极 方向 为 d, ,d,,… ,d,, 则 必 有 
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= {Snd | = 0 =1,2,.…,)} 


证 明 记 R= {5 pd |=07=1,2,.…,1} 
因为 K 的 极 方 向 , 故 d)e Ko,j=1,2,…,l. 从 而 对 一 切 j>0,j=1,2,…， 
4 有 > pd)e Ko ,Bh Ko CKo. 
另 一 方面 , 任 取 ye Ko, 若 y=0, 显 然 ye Ko. 若 yz0, 则 令 
SD 
3 人 < (j= 1,2,.,1), 


则 3 了 eK。. 根据 前 面 的 分 析 , 当 为 无 界 集 时 ,K。 是 多 面体 , 且 由 引 理 2. 2.8 知 ， 
di,4,,…,di 为 Ko 移 全 部 概 襄 ， 因此 由 推论 2.2.6 可 知 ,存在 A;>0(j=1,2， 


4 
上 ,> A) =1, 使 得 了 = vy Ajd. 于 是 
sel Js1 


Dt ' 
Dy Sy ey Ne Me We Pe 
y= (y= 下 多 
从 而 ye K,, 即 KoEGK. 这 就 证 明了 Ko = RK。. 0 


引 理 2.2.9 表明 , 当 KK 是 无 界 时 ,K 的 任 一 方向 均 落 在 由 K 的 极 方向 所 生成 
的 凸 锥 中 . 

定理 2.2.10{ 多 胞 形 表 示 定 理 ) 若 K 为 无 界 集 ,K 的 全 部 极点 为 xi， 
x ，… ,Xi( 上 之 1) ,KK 的 全 部 极 方向 为 di ,d ,di(L>1), 则 <eK 的 充 要 条 件 是 


存在 A;>0(i=1,2,…,k)，》 Ai=1 入 0(j=1,2,…,1) ,使 


= DS Ax +t Do pd; 
台 各 

证 明 由 定理 2.2.4 和 引 理 2. 2.9 即 知 . 0 

最 后 再 介绍 一 种 重要 的 多 面体 . 

由 推论 2. 2.6, 多 面体 其 实 就 是 它 的 所 有 极点 所 生成 的 凸 包 . 因此 ,我们 得 
到 多 面体 的 另 一 种 定义 . 

定义 2.2.3 设 x ,x,,… ,x eR", 则 称 由 x,,x,,… ,x 所 生成 的 凸 包 为 R" 
中 的 多 面体 . 如 果 x， -zz -x ，… ,x -x 线性 无 关 , 则 称 &" 中 的 多 面体 
H( x xy，… sx! ) 是 R" 中 以 x ,x，，… ,x; 为 顶点 (vertex) 的 单纯 形 (simplex). 

显然 ,R" 中 单纯 形 的 顶点 个 数 不 超 过 n +1. 

定理 2.2.11 设 x ,x,,…,x,eR", 则 

(1) 多 面体 H(ix, ,x;，…,x,| ) 中 的 极点 必定 是 某 个 x,(1<r<k); 

(2) 如 果 及 ( |x, ,x,，…,x| ) 是 单纯 形 ,那么 它 的 极点 的 全 体 就 是 顶点 的 
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全 体 . 
证 明 (1) 设 FeH(lx, x,… ,x ) ,区 x,(i=1,2,…,k) , 则 存在 0< 


Ai<1(i=1,2,…,k)，》 Ai=1, 使 了 = 》 Aixi. 设 A,>0(1<ti<k), 记 


pT (i#1) ,= D px, 
则 j=0(iz#1)，》 p=1, 从 而 FeH( x ,ry,… x} ), 且 
=Ax, + (lA) 
于 是 由 天 天 x, 知 主 关 x,, 即 不 是 极点 ,从 而 (1) 得 证 . 

(2) 由 (1) 知 ,单纯 形 (1x, ,x,，,… ,x | ) 的 极点 必 是 它 的 顶点 . 反之 , 任 取 
Xx.(1<t<k) ,要 证 x, 是 单纯 形 H(1x, ,x,,…,x| ) 的 极点 ,只 要 证 明 :车 存在 
ae(0,1) 及 y,ze H(ix,,x,,…,x,| ) ,使 

xi =ay+(l1-a)z， 
则 y=z. 
因为 y,ze H(z ,x ，… ,x ) ,所 以 
y= DAxi,A 2 00 =1,2,..,k), DA 


4 
z= Zh, > 0(i = 12， 9 ,Dh 


于 是 
xz = > ahit(l -oA)r, > (Cali+(l -oa)h)=1, 

从 而 

DP aast(l -oA)(x x) - (x -x)=0. (2.2.6) 
因 xz -x ,x -xz 一 zi 线性 无 关 , 故 上 式 中 x -x,(i=2,3,…,k) 的 系数 
全 为 0. 车 :=1, 则 

aAs+ (1 -a)A, =0,i= 2,3,.,k. 
即 有 
ah + (1 -a)A, =1. 

由 于 0<a<1,0<A,<1,0<A,<1, 因 此 A =1,A, =1, 即 知 y=x,,z=x,, 故 


=z. 车 :>1, 则 (2.2.6) 式 中 x, -zi 的 系数 
aA,+ (1 -a)A,-1=0, 


即 aA,+(1-a)A,=1. 
同 理 有 和 ,= 和 ,=1, 从 而 y=z=x,. 0 
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定义 2.2.4 设 SCR" 为 多 胞 形 ,x,,x,e5 为 
两 个 不 同 的 极点 ,对 于 任何 x。e x; ,如 果 存 在 x， 
x,e5 使 得 x 为 二 x 的 内 点 ,就 一 定 有 xx,,x,e 
二 页 , 则 称 x， 和 x, 是 S 的 相 邻 极点 (adjacent 
extreme point) ,此 时 ,线段 x; 称 为 5 的 棱 (edge). 为 

在 图 2. 2. 2 所 示 的 多 胞 形 中 ,x, 与 x, 是 相 邻 a 


极点 ,za 与 x 也 是 相 邻 极点 ,但 极点 x, 与 x， 不 是 图 2.2.2 学 风光 
相 邻 的 . 汪 


WW 


定理 2.2.12 单纯 形 中 任何 两 个 相 异 的 顶点 相 才 术 点 
都 是 相 邻 的 极点 


证 明 设 x, 和 xz 是 单纯 形 H( |x, ,x，,…,x,| ) 的 两 个 相 异 顶点 , 则 由 定理 
2.2.11(2) 知 x, 和 x, 是 两 个 相 异 极点 . 任 取 ro ex, 即 


xo=ax, + (1 -a)x,,0<asl, I 
若 存 在 ,Xe H(ix ,x ，,… ,Xx| ) ,使 
xo=Br+(1-B)E,0 <B<1, (2.2.8) 


则 要 证 ,ex 
因为 ,eH(1x,,x，,… zs) 所 以 有 


上 


: 
于 = Dah, > 0(i = 12，0 ,2% 
4 


OD 
S 


= DAxh20i=1,2,,k), D> A=1, 
于 是 由 (2.2.7) 和 (2.2.8) 两 式 得 
By Axi+ (1 -BpB)D Ax = ox, + (1 -a)x,, 
在 上 式 两 边 减 去 x, ,整理 后 得 
DS (BA + (1 -BA -az) a(x, x) - (1-a)(x, -x) =0. 
(a 
由 于 x -x ,x 一 x 1，… ,x -x 线性 无 关 , 因 此 上 式 中 zx -x,(i=2,3,…,k) 的 
系数 均 为 0, 当 p 关 1,9 天 1 时 ,(2.2.9) 式 中 x, -x, 和 xz -zi 的 系数 分 别 为 
BA, + (1 -B)A, -a =0, 
BA,+ (1-B)A,-(1-a)=0, 
把 上 面 两 式 相 加 ,得 
A) + (1-B)(A, +A,) =1, 
从 而 由 0 <B <1,0<A,+A,<1 和 0<A,+A,<1 知 
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A,+A, =1,X,+A =1. (2.2.10) 
当 p =1 时 ,(2.2.9) 式 中 x -x, 的 系数 
BA + (1 -BA =0,Viz#p,g, 
从 而 
BA, + (1 -B)A, +BA, + (1 -BA, =1, 
即 
BA, +A) +(L-B)( +A,) = 1， 
同样 有 (2. 2. 10) 式 成 立 . 当 9 =1 时 , 同 理 可 证 (2. 2. 10) 式 成 立 . 
根据 (2.2. 10) 式 ,立即 得 到 
部 = Ax, + AT 下 = AX, + AX, 


Dk 


这 表明 ,te 0 
由 这 个 定理 我 们 知道 ,单纯 形 (|x, ,x ，… x1 ) 恰 有 | ?] 条 杰 并 且 RR 中 的 


单纯 形 是 单 点 集 和 线段 ;R* 中 的 单纯 形 是 单 点 集 、 线 段 和 三 角形 ;R 中 的 单纯 
形 是 单 点 集 、 线 段 、 三 角形 和 四 面体 

R" 中 具有 n+1 个 顶点 且 所 有 棱 的 长 都 相等 的 单纯 形 称 为 R" 中 的 正则 单 
纯 形 ( regular simplex). 显然 ,R 中 正则 单纯 形 是 线段 ,R* 中 正则 单纯 形 是 正三 角 
形 ,R’ 中 正则 单纯 形 是 正四 面体 . 


2.3 凸 函 数 


定义 2.3.1 设 SCR" 是 非 空 凸 集 ,f/:5 一 RR, 如 果 对 任意 x,,x,eS 及 Ae 

[0,1] ,都 有 
CAxi+(1-A)xa)<Ar)+(I-A)7F(r)， 
则 称 /为 S 上 的 凸 函 数 ( convex function). 如 果 对 任意 zi ,xy e 5,x, 关 x, 及 Ae 
(0,1) ,都 有 
HA +(1-A)z) <Afr)+(1-A)FCr:)， 

则 称 / 为 S$ 上 的 严格 凸 函数 (strictly convex function). 

如 果 -/ 为 S 上 的 凸 函 数 , 则 称 / 为 S 上 的 四 函数 (concave function). 如 果 
-为 S 上 的 严格 凸 函 数 , 则 称 了 为 S 上 的 严格 凹 函 数 ( strictly concave function ) . 

图 2.3.1 给 出 了 凸 函 数目 函数 和 非 凸 非 目 函数 的 图 形 . 凸 函数 的 几何 解释 
告诉 我 们 ,过 凸 函 数 图 形 上 任意 两 点 的 弦 位 于 曲线 的 上 方 . 而 凹 函数 则 恰恰 
相反 . 

由 凸 函 数 和 四 函数 的 定义 易 知 ,线性 函数 

f(x) =alix+b,a,re RR,ax0,beRh 
pp 


1 
1 
1 
1 
1 


1 
1 
! 
1 
1 


bs 
0 下 


S 
xs 
Q 


(a) 凸 函 数 (b) 四 函数 (c) 非 凸 非 止 函数 
图 2.3.1 凸凹 函数 的 几何 解释 


在 R 上 既是 凸 函 数 也 是 凹 函 数 . 
凸 函数 具有 下 列 性 质 . 
定理 2.3.1 设 / 是 凸 集 SGER" 上 的 凸 函 数 ,ri ,x,,… ,x eS,A,>0(i=1， 


和 


2 ，> A,=1, 则 


& k 
/( DAx,) < SF Afx). 
名 各 
证 明 对 上 用 归纳 法 即 可 证 明 ,请 读者 自行 完成 . 0 
定理 2.3.2 设 /,f;,… ,fi 是 是 集 5CR" 上 的 凸 函数 , 则 
4 
p(x) = > ANACz)， YAOG= 1,2,..,k) 
和 
Wr) mh 
都 是 5 上 的 是 函数 
证 明 ”对 于 任意 x,,x,e5 及 ae(0,1), 因 f; 是 S$ 上 的 是 函数 , 故 
flaxi+(l-a)x) of (x) + (1 -of(x) ,i=1,2,%,k. 
从 而 


op(arl + (1 -a)x)= DAf(ar + (1 -a)x,) 
< SAlof x) + (1 -af(x)) 


= PD Af) + (1 -a) DAf(x,) 


ap(x1) + (1 - a)p(x,), 
yaxr, + (1 -a)x,)= max fi(ax, + (1 -a)x,) 
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< max(of(x1) +(L-a)F(z)) 
<a max f(x,) +(1-a) max f(x,) 


= ay(x) + (1 - a)y(x,), 
于 是 p(x) 和 w(x) 均 为 S$ 上 的 是 函数 . 0 
为 了 考察 凸 集 与 凸 函数 的 关系 ,我 们 引进 函数 /在 集合 S 上 关于 数 a 的 水 
平 集 (level set) 
S(f,a) = lx e S|/(x) < al, 
其 中 SCR",f:S 一 RR. 
定理 2.3.3 设 了 是 凸 集 SSER" 上 的 是 函数 , 则 对 任意 ae RR, 水 平 集 
5(/,a) 是 是 集 . 
证 明 对 于 任意 x,,x,e 5(/,a) ,根据 水 平 集 的 定义 有 xx ,x,e 5, 目 /(x,) 
和 a,/(x;) <a, 由 于 5 为 凸 集 ,因此 ,对 每 个 入 e (0,1), 有 Ax,+(1 -A)x,eS. 
又 因 f 是 5 上 的 凸 函数 , 故 
fAxs + (1 Ax) < Afx) + (1 - A(x,) 
<Aa+(l-A)a=a, 
从 而 Ax, + (1 一 A)x,e5S(f,a) , 故 S(f,a) 是 凸 集 . 0 
值得 注意 的 是 ,定理 2. 3. 3 的 逆 命 题 不 成 立 . 例如 , 当 5=|xeR|x>01 时 ， 
/A(x) = 民 是 $S 上 的 严格 凹 函数 而 不 是 凸 函 数 ,但 是 ,对 一 切 ce 8 ,水平 集 
5(/,a) 是 是 集 . 
利用 凸 函 数 的 定义 及 有 关 性 质 可 以 判别 一 个 函数 是 否 为 凸 函 数 ,但 有 时 计 
算 比 较 复 杂 ,使 用 很 不 方便 ,因此 ,需要 进一步 研究 凸 函数 的 判别 问题 . 
定理 2.3.4 设 SCR" 是 非 空 开 凸 集 /:S 一 R 在 S 上 可 微 , 则 /为 S 上 的 凸 
函数 的 充 要 条 件 是 
fx2) fx) + Vx) xy -zi) Vx ,x ed; (2.3.1) 
J 为 8S 上 的 严格 凸 函 数 的 充 要 条 件 是 
f(x,) >f(x,) +Vf(x) (x, —X1), VX ,rES,X FX,. (32 
证 明 必要 性 . 设 / 是 5 上 的 晤 函数 , 则 对 任意 x,,x,e5 及 Ae(0,1), 有 
fAxs + (1 AX) < Af(xs) + (1 - A)f(x,). 
于 是 
f(x + A(xs -2i)) - Ax) 
入 
因 5 为 开 集 ,f 在 5S 上 可 微 , 故 令 A 一 0 ,得 
Vx) (x -x) <fx,) -f(x,), 


< f(x) - f(x). 


即 得 (2. 3. 1) 式 . 
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当 / 为 S$ 上 严格 由 子 数 时 ,对 于 任意 x ,zs S,z xn, 有 
/$e + < + fm) 
记 y = 二 xz, + 二 xs , 则 由 /为 凸 函数 的 必要 条 件 向 


fy) > fx) + Vf) Ty - x), 


从 而 
Br) + Hr) > Kr) + VA -an)， 
即 
fx2) > x) + Vr) (x x), 
故 (2.3.2) 式 成 立 . 


充分 性 . 设 (2.3.1) 式 成 立 , 则 对 于 任意 和 Ae[0,1], 取 x=Ax+ 
(1 -和 A)x,e5, 从 而 
fx1) f(x) + Vf/(x) (zl -x), 
f(x2) fx) + Vf(x) (za -x), 
将 上 述 两 式 分 别 乘 以 A 和 (1 -入 ) 后 , 相 加 得 
Af(z) + (1 A(x) f(x) +WwFr) (Ar + (1 -A)x, — x) 
= f(x) =/(Axr, + (1 - A)x,), 
所 以 /为 凸 函 数 . 

若 (2.3.2) 式 成 立 ,以 上 各 不 等 式 中 不 等 号 严格 成 立 , 故 /为 严格 是 函数 品 

这 个 定理 为 我 们 提供 了 判别 一 个 可 微 函数 是 否 为 凸 函 数 的 依据 . 它 有 明显 
的 几何 意义 ,一 个 可 微 函 数 是 凸 函 数 的 充 要 条 件 是 函数 图 形 上 任 一 点 处 的 切 平 
面 位 于 曲面 的 下 方 . 

对 于 具有 二 阶 连续 偏 导数 的 函数 ,有 下 面 的 判别 定理 . 

定理 2.3.5 设 SCR" 是 非 宅 开 是 集 ,/:5 一 R, 在 5 上 具有 二 阶 连续 偏 导 
数 , 则 /是 5 上 的 是 函数 的 充 要 条 件 是 对 于 一 切 xe 5,f 在 x 处 的 Hesse 矩阵 
V(x) 是 半 正 定 和 矩阵 . 

证 明 必要 性 . 设 / 是 S 上 的 凸 函数 , 因 5 是 开 集 , 故 对 于 任意 ?e5 及 xe 
R", 存 在 8>0, 使 得 当 和 Ae (0,6) 时 ,+Axe 5. 由 于 /是 S$ 上 的 凸 函 数 ,因此 由 定 
理 2.3.4, 有 

f(xE +Ax) f(x) +AVAIE)Yx. 
又 因为 /在 处 具有 二 阶 连续 偏 导 数 ,所 以 按 Taylor 公式 有 


flE +Ax) = /2) + AVIE) TE + A VF) + ol | ArN’), 


从 而 
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到 Vz(z)rz+o(ClArl2) > 0， 


将 上 式 两 边 除 以 A? 后 再 令 和 一 07 ,得 
xTVz1(E)z>0， 
即 V:7z) 是 半 正 定 的 . 
充分 性 . 设 W :HLz) 在 每 一 点 YeS 处 半 正定 ,由 (xz) 在 元 eS 处 的 Taylor 公 
式 有 


fx) = f(x) + VII) Cr ~-¥) + -x¥)" Vi/(X)(x - £), 


(2.3.3) 
其 中 =+A(x -于 ),Ae (0,1). 因 5 是 册 集 , 故 *eS. 由 于 VY/(z) 半 正定 ， 
因此 
(x -¥)" VI/(x)(x -x) >0, 
于 是 由 (2.3.3) 式 有 
f(x)=/(x) +V/(x) (x -x) (2.3.4) 
由 定理 2.3.4,f 为 S$ 上 的 是 函数 . 0 
定理 2.3.6 设 SCR" 是 非 空 开 凸 集 ,f:5 一 R 在 S$S 上 具有 二 阶 连续 偏 导 数 ， 
如 果 对 每 个 zeS,V:/(z) 是 正定 矩阵 , 则 /是 S 上 的 严格 凸 函数 
证 明 因为 V*/(x) 是 正定 的 ,所 以 当 xz 时 ,(2.3.3) 式 的 末 项 为 正 . 从 而 
(2.3.4) 式 为 严格 不 等 式 ,因此 /是 S$ 上 的 严格 凸 函 数 . 0 
定理 2. 3. 6 的 逆 命 题 不 成 立 . 例如 ,f(x) =x 是 R 上 的 严格 凸 函数 ,但 它 的 
Hesse 矩阵 Wzx) =12x? 在 点 x =0 处 不 是 正定 的 . 
定理 2.3.7 设 ./:R* 一 R 为 二 次 函数 , 即 


flx) = Dx"Qx +b'x+c, 


其 中 Q 是 n 阶 对 称 矩 阵 , 则 
(1) /是 R" 上 的 凸 函 数 的 充 要 条 件 是 Q 为 半 正 定 矩 阵 . 
(2) /是 R" 上 的 严格 凸 函 数 的 充 要 条 件 是 8 为 正定 矩阵 . 
证 明 由 例 1.2.2 知 ,二 次 函数 /在 R 上 具有 二 阶 连续 偏 导数 , 且 
VAx) =Or+pb,Vr) = 0, 
从 而 由 定理 2.3.5,(1) 显 然 成 立 . 
又 由 定理 2.3.4,f 是 R" 上 的 严格 凸 函 数 当 且 仅 当 
fy) > Hx) + VACx) Ty ~ x), Vrsy ER 天 多 
这 等 价 于 
fly) > f(x) + (Qr +b) "(yy-x), Vry e Rx zy. 
注意 到 /为 二 次 函数 ,Q 为 对 称 矩 阵 ,因此 上 式 等 价 于 
.49 . 


1 
27727 >- 了 or +x'Qy, Vr,y ER 天》， 


这 又 等 价 于 
Fly -x) "Q(x) > 0 Vxy ER 了 
这 等 价 于 8 是 正定 矩阵 . 从 而 (2) 得 证 . 0 
2.4 凸 规划 
定义 2.4.1 设 SCR" 为 凸 集 f 是 S 上 的 凸 函数 , 则 称 规划 问题 
min/(x) (2.4.1) 


为 凸 规划 (convex programming) 问题 . 
例 2.4.1 当 f 是 R" 上 的 凸 函 数 时 ,无 约束 最 优化 问题 


minf(x) 
是 凸 规划 问题 . 0 
例 2.4.2 设 AeR",beR",ceR", 则 线性 规划 问题 
min cx; 
st. Ax=b; (LP) 
x>=0 
是 凸 规划 问题 . 0 


证 明 ”因为 (LP) 的 目标 函数 cx 是 线性 函数 ,所 以 是 凸 函 数 . 又 由 于 (LP) 
的 可 行 域 
K=ixeR'|Ar=b,r>0| 
是 多 胞 形 ,因此 K 是 凸 集 ,从 而 (LP) 是 凸 规划 . 0 
例 2.4.3 设 SCR" 为 开 同 集 ,/ 是 S$ 上 的 吓 函 数 ,g,(i=1,2,…,m) 是 5S 上 
的 四 函 数 ,h(j=1,2,… ,1) 是 R" 上 的 线性 函数 , 则 下 面 三 个 规划 问题 


min f(x); 

(人 h(x) = 0J = 1,2,.,l, (2.4.2) 
人 (2.4.3) 
st g(x)>0,i=1,2,,m, 

min f(x); 

[ t g(x) 0,i=1,2,.,m, (2.4.4) 


h(x) =0, = 1,2,.,l 
都 是 凸 规划 问题 . 
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证 明 记 

SS,={xeR"|h(xr)=0,=1,2,.…,1}, 

5,= {xeR’ |g(x)>0,i=1,2,.…,m}|, 

S$; =$,N5,. 
要 证 问题 (2.4.2) (2.4.3) 和 (2. 4.4) 为 凸 规划 问题 ,只 需 证 明 5, ,5, 和 S, 为 R" 
中 的 凸 集 . 因为 h(x) =0(j=1,2,… ,1) 都 是 线性 函数 ,所 以 5, 是 ! 个 超 平面 的 
交集 ,从 而 5, 为 凸 集 . 又 由 于 - g,(x) (i=1,2,…，, 严 ) 均 为 凸 函 数 ,因此 各 水 
平 集 . 

S(-8g8,0) = |xe R"|g(x) 01(i=1,2,..…,m) 

都 是 凸 集 , 于 是 


S = 站 SC-g,0) 
也 是 凸 集 , 从 而 S, = Sn 5, 是 凸 集 . 0 

凸 规划 比 一 般 非 线性 规划 重要 ,是 因为 它 具 有 下 面 的 基本 性 质 . 

定理 2.4.1 凸 规划 问题 (2. 4. 1) 的 任何 局 部 极 小 点 都 是 全 局 极 小 点 , 且 它 
的 极 小 点 的 集合 为 凸 集 . 

证 明 用 反 证 法 证 明定 理 的 前 一 部 分 . 设 e 5 为 问题 (2.4. 1 ) 的 局 部 极 小 
点 , 即 存在 的 某 个 58 邻 域 Vs(E) ,使 

fx) </(x), Vx ee N(x) NS. 
车 不 是 问题 (2.4. 1) 的 全 局 极 小 点 , 则 存在 *e 5, 使 /(x) </(x). 由 于 /为 5 
上 的 凸 函 数 , 因 此 对 每 个 入 e (0,1) ,有 
f(AF+ (1 -A)E) SEAM(E) + (1 -A)(E) <f(x). (2.4.5) 
当 和 充分 接近 1 时 ,可 使 
AMEz+(L1-A)EEAN(z) NS, 
于 是 
JE) < /Ax + (1 -A)T), 
此 与 (2. 4.5) 式 矛盾 . 从 而 是 问题 (2.4.1) 的 全 局 极 小 点 . 

由 以 上 证 明 可 知 ,f 在 S$ 上 的 极 小 值 也 是 它 在 5 上 的 最 小 值 . 设 最 小 值 为 a， 
则 问题 (2. 4. 1) 的 极 小 点 的 集合 是 水 平 集 5(/,a) ,由 定理 2.3.3,5(f,a) 是 是 
集 . 0 

定理 2.4.2 在 凸 规划 问题 (2. 4. 1) 中 , 若 / 为 S 上 的 严格 凸 函 数 , 且 大 为 问 
题 (2.4.1) 的 局 部 极 小 点 , 则 五 是 问题 (2.4.1) 的 惟一 全 局 极 小 点 . 

证 明 由 定理 2.4.1, 三 是 问题 (2.4.1) 的 全 局 极 小 点 . 假设 也 是 问题 
(2.4.1) 的 全 局 极 小 点 , 且 兰 , 则 f() =/() ,从 而 由 /为 S$ 上 的 严格 凸 函 
数 知 
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/lz+ ls)< B77) + SAz) = Na)， 
此 与 为 全 局 极 小 点 相 矛 盾 . 所 以 问题 (2. 4. 1) 的 全 局 极 小 点 必 惟 一 . 


[ 习 题 二 


1 设 AeR",beR", 用 定义 验证 
S=|IxreR’|Ar=b,r>=0} 
是 凸 集 . 
2. 证 明定 理 2.1.2. 
3. 写 出 下 列 集合 的 凸 包 : 
(1) 5, =1(0,0) (1,0) (0.1)715 
(2) Ss = | (xz)7 | x sx ,x + 2). 


4. 设 训 eR"(i=1,2,…,k) ,de R*(j=1,2,… ,1) ,证 明 集 合 


{ Pi, + pb = A200 = 1,2,,k) p> 0(j = 1.2.)} 
是 凸 集 . 
5. 设 SER" 为 凸 集 ,4eR"…, 证 明 R= 14x |xeSl 为 凸 集 . 
6. 设 AeR""",BeR"",bpeR", 证 明 下 列 两 个 关系 式 组 有 且 仅 有 一 组 有 和 解 : 
(1)Ar<0,Br =0,b'x >0; 
(I) 47y +Brz = 四 ,> 0. 
7. 设 AeR"",beR", 证 明 下 列 两 个 关系 式 组 有 且 仅 有 一 组 有 解 : 
(1) Ar<0,xr>0,b'x >0; 
(I)A'y>=b,y>0. 
8. 证 明 下 面 不 等 式 组 无 解 : 
2 +3x < 0, 
3x -x < 0， 
17x, + 11x, > 0. 
9. 设 SER" 为 凸 集 ,zeoeS, 且 S\ixo| 为 凸 集 ,证 明 ze 是 5 的 一 个 极点 . 
10. 证 明 : 超 平面 及 = 1xeR" |a'x =a| 没 有 极点 . 
11. 设 AeR"",S=|xeR’ |Ar<0}. 
(1) 证 明 S 是 一 个 凸 集 且 最 多 有 一 个 极点 ; 
(2) 给 出 并 证 明 5 存在 一 个 极点 的 充 要 条 件 , 求 出 极点 . 
12. 证 明 : 任 何 一 个 单纯 形 的 顶点 集 是 惟一 确定 的 - 
13. 证 明 :f(x) 为 R*" 上 的 凸 函数 的 充 要 条 件 是 对 于 任意 给 定 的 x ,za e R ,函数 
ep(A) = (Ar +(1-A)z),YAE[0,I] 
是 凸 函数 . 
14. 设 SCR" 为 非 空 凸 集 ,f:S 一 R ,证 明 :f 是 凸 函数 的 充 要 条 件 是 集合 
二 


人 {] [NE) < ox eS,ae a} 


为 R"” 中 的 凸 集 . 
15. 判别 下 列 函 数 的 凸 性 ,并 说 明理 由 . 
(1) f(x ,x2) = x? +2x,x, — 10x, + 5x2; 
(2) Km ma) = "ms; 
(3) f(x x2 ,x3) = +2x + x2 +2x 6x,x3 
(4) f(x1 za ,x3) =x? +3x2 +9x? — 2x,x2 +6xaxy +2x3x,, 


16. 设 5i:R 一 R 为 凹 函数 (5= 1,2,…,m) , 试 判定 函数 


flx) = Sminl0,gr) 4] 
的 凸 性 . 
17. 判断 下 列 非 线 性 规划 问题 是 否 为 凸 规划 问题 : 
min 2x3 + x 一 2xizxa; 
Sl xi+xl -4<0, 
xi +x -2<0， 
xl -za -1<0. 


min 100x + 200， 
ZX2 


(2) lst -x?+x,>0, 
2 + x 4, 
x 0,x, >0. 
min (x -3)? +(x, -2)2; 
(3) Jst xi+x =5, 
xi +2x, <4. 
18. 设 SC R" 为 非 空 钙 集 , /:5- 一 RR 是 具有 一 阶 连续 偏 导数 的 凸 函数 ,证 明 :x 是 问题 
minf(x) 的 最 优 解 的 充 要 条 件 是 


VE)'(r -x) >0,Yres. 
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第 三 章 ”最 优 性 条 件 


所 谓 最 优 性 条 件 ,是 指 最 优化 问题 的 最 优 解 所 要 满足 的 必要 条 件 或 充分 条 
件 . 这 些 条 件 对 于 最 优化 算法 的 建立 和 最 优化 理论 的 推 证 都 是 至 关 重 要 的 . 

本 章 先 介绍 无 约束 最 优化 问题 的 最 优 性 条 件 ,然后 着 重 介绍 约束 最 优化 问 
题 的 最 优 性 条 件 . 


3.1 无 约束 最 优化 问题 的 最 优 性 条 件 


考虑 无 约束 最 优化 问题 
min /(x), (C31 
其 中 /:R" 一 R. 这 是 一 个 古典 的 极 值 问题 ,在 微 积分 学 中 已 经 有 所 研究 ,现在 对 
它 进一步 讨论 . 

首先 ,我 们 给 出 问题 (3.1.1) 的 局 部 极 小 点 的 一 阶 必要 条 件 . 

定理 3.1.1 设 /:R" 一 RR 在 点 处 可 微 ,车 式 是 问题 (3.1.1) 的 局 部 极 小 
点 , 则 

Vf/(i) = 0. 
证 明 ”用 反 证 法 . 假设 Vf(x) 0, 取 d= -A(x), 则 有 
VAx)d =- | VAE)N’ <0 
从 而 根据 定理 1.2.3,d 是 /在 x 处 的 下 降 方 向 , 即 存在 8>0, 使 
f(x +Ad) </(x), VA e (0,6), 
此 与 为 局 部 极 小 点 矛盾 . 0 

R" 中 集合 5 的 内 部 (interion) 是 指 

intS = x "| 存在 N,(x) E 81. 

定义 3.1.1 设 /:SCR" 扣 在 eint5 处 可 微 , 若 

VA(z) =0, 
则 称 庆 为 了 的 平稳 点 (stationary point). 

由 定理 3.1.1 可 知 ,无 约束 最 优化 问题 的 局 部 极 小 点 一 定 是 目标 函数 的 平 
稳 点 . 反之 不 然 , 这 是 因为 ,函数 的 平稳 点 可 以 是 它 的 极 小 点 ,也 可 以 是 极 大 点 ， 
也 可 以 二 者 都 不 是 ( 即 鞍点 )( 见 图 3.1.1)- 
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(b) 二 维 情况 
图 3.1.1 平稳 点 与 极 值 点 


下 面 利用 Hesse 矩阵 给 出 局 部 极 小 点 的 二 阶 必要 条 件 . 

定理 3.1.2 设 /:R" 一 RR 在 点 eR" 处 具有 二 阶 连续 偏 导数 . 若 工 是 问题 
(3.1.1) 的 局 部 极 小 点 , 则 VV/(x) =0, 且 Vf(x) 半 正定 . 

证 明 ”由 定理 3.1.1,V/(x*) =0, 故 只 需 证 明 Hesse 矩阵 V/(3) 半 正定 . 

因为 /在 点 处 具有 二 阶 连续 偏 导 数 , 且 V A(x) =0, 所 以 由 二 阶 Taylor 公 
式 , 对 于 任意 非 零 向 量 de R" 和 充分 小 的 入 >0, 有 


f(x+Ad) = /f(x) + Xa Vf/(i)d +o( Adl). 人 


由 于 x 是 局 部 极 小 点 ,因此 当 入 充分 小 时 ,有 
f(x +Ad) =/(7). 
从 而 由 (3.1.2) 式 知 


2 oC Nad1) 
d" Vif(x)d +2- lAal” lal’*>=0, 


令 A 一 0 ,得 
Vf/(i)d = 0, 
因而 V(x) 是 半 正 定 的 . 0 
现在 给 出 局 部 极 小 点 的 二 阶 充分 条 件 . 
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定理 3.1.3 设 /:R" 一 R 在 点 eR" 处 具有 二 阶 连续 偏 导数 . 若 V f(x) = 
0, 且 Vi/(z) 正 定 , 则 是 问题 (3.1.1) 的 严格 局 部 极 小 点 
证 明 因为 /在 点 处 具有 二 阶 连续 偏 导 数 ,上 且 V f(x) =0, 所 以 由 二 阶 
Taylor 公式 ,对 于 任意 非 零 向 量 de R" 和 充分 小 的 A >0, 有 
Hz+Aa) = Ga) + FAd VAE)d + ol | Adl’). 
因 Vz/(z) 正 定 ,dz0, 故 
d Var(z)d > 0， 
所 以 当 和 充分 小 时 ,有 
了 sa Vz)d + ol |Adl’) > 0， 
即 
所 二 +Ad) > 所 元 ). 
由 4d 的 任意 性 知 ,为 (3.3.1) 严 格局 部 极 小 点 . 0 


需要 指出 的 是 ,定理 3. 1.2 不 是 充分 条 件 , 定 理 3.1.3 不 是 必要 条 件 . 反例 
分 别 见 例 3. 1. 1 和 例 3.1.2. 


例 3.1.1 对 于 无 约束 最 优化 问题 
min f(x) = x? - xi, 
其 中 x=(%,,x,) "eR ,显然 
VAx) = (2x,, - 3x2)', Vx eR’. 
令 玉 A(x) =0, 得 f(x) 的 平稳 点 =(0,0)" ,而且 


2 0 ee 
von = [0 6] vA = [o ol; 
即 V2/(z) 为 半 正定 矩阵. 
但 是 ,在 的 任意 5 邻 城 上 x -x <8 内 ,总 可 以 取 到 z= (0, 也 ,使 /() < 


A(x) , 即 不 是 局 部 极 小 点 . 0 
例 3.1.2 对 于 无 约束 最 优化 问题 
min f(x) = xt +2xix? + Xs 
其 中 x=(%,x,) eR , 易 知 
Vx) = (4x) + 4%1x3,4xx, + 4x2)", 
从 而 得 平稳 点 过 = (0,0) ,并且 


， fl12x3 + 4x2 Bx1x2 yd ,00 
A 8xx Ax? Ya [。 ol: 
即 V*f() 不 是 正定 矩阵 . 但 是 A(x) = (xi + 怠 )” 在 处 取 最 小 值 , 即 主 为 严格 局 
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部 极 小 点 - 0 
例 3.1.3 求解 下 面 无 约束 最 优化 问题 
min f(x) = 了 + 了 三 
其 中 = (xz) 
解 ”因为 
| 2x 0 
了 | ,V’ | 
ras a Lo. 


-l=0, 
全 -2x, = 0. 
解 此 方程 组 ,得 到 /(x) 的 平稳 点 


= = 


所 以 令 VAx) =0, 有 


从 而 


vveo =|o 


vs) =[ ,wwe < 
由 于 V(x,) 和 Vf(x,) 是 不 定 的 ,因此 x, 和 x 不 是 极 值 点 . Vf(x,) 是 负 定 
的 , 故 xz; 不 是 极 小 点 ,实际 上 它 是 极 大 点 . VY(x,) 是 正定 的 ,从 而 x 是 严格 局 
部 极 小 点 . 0 
最 后 ,在 函数 凸 性 的 假设 下 ,给 出 全 局 极 小 点 的 一 阶 充分 条 件 . 
定理 3.1.4 设 /:R" 一 R 是 凸 函 数 , 且 /在 点 斌 ER" 处 可 微 , 若 V/(x) =0， 
则 关 为 问题 (3. 1. 1) 的 全 局 极 小 点 . 
证 明 ”因为 /是 R" 上 的 是 函数, 且 在 点 处 可 微 ,所 以 由 定理 2.3.4, 有 
fx) fF) + Vf(E) (x -1),VxeR". 
由 于 VfA(x) =0, 因 此 
f(x) =/(1), Vr eR", 
即 双 为 问题 (3.1.1) 的 全 局 极 小 点 . 0 
根据 定理 3. 1.4 和 定理 3. 1. 1, 立 即 得 到 
推论 3.1.5 设 /:R" 一 R 是 凸 函数 ,上 且 /在 点 eR" 处 可 微 , 则 x 是 问题 
(3.1.1) 的 全 局 极 小 点 的 充 要 条 件 是 V /() =0. 0 
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例 3.1.4， 试 证 正定 二 次 函数 
Ax) = 了 rox + rr +e 


有 惟一 的 严格 全 局 极 小 点 
=-Q"b, 
其 中 Q 为 n 阶 正定 矩阵 . 
证 明 因为 @ 为 正定 矩阵 , 且 
Vr) =Or+pb,VyreR 
所 以 得 /(x) 的 惟一 平稳 点 = -Q 2. 又 由 于 /是 严格 凸 函 数 ,因此 由 定理 
3.1.4 知 ,x 是 f(x) 的 严格 全 局 极 小 点 0 


3.2 等 式 约束 最 优化 问题 的 最 优 性 条 件 


考虑 等 式 约束 最 优化 问题 
min f(x); 
人 t h(x) =07=1,2,,l, 
其 中 f:R" 一 RR,h:R" 一 RR(j=1,2,…,1). 这 是 经 典 的 条 件 极 值 问 题 , 它 的 最 优 性 
条 件 和 求解 方法 在 微 积 分 学 中 已 从 理论 上 得 到 解决 ,这 里 加 以 总 结 和 推广 . 
定理 3.2.1 设 /:R" 一 R 在 点 eR" 处 可 微 ,h:R" 一 R(j=1,2,…,l) 在 点 
处 具有 一 阶 连续 偏 导数 ,向 量 组 V h,(*) ,VV h,(),…,V h,() 线 性 无 关 . 若 开 
是 问题 (3. 2. 1) 的 局 部 极 小 点 , 则 存在 实数 圳 ,j=1,2,… ,1, 使 得 


Vf/(F) - DVh(x) =0. (3.2.2) 


这 就 是 Lagrange 定理 , 式 (3.2.2) 就 是 问题 (3.2.1) 局 部 极 小 点 的 一 阶 必要 
条 件 . 

在 证 明 这 个 定理 之 前 , 先 分 析 它 的 意义 . 

我 们 称 n +1 元 函数 

L(x,v) = f(x) - vih(x) 

为 Lagrange 函数 (Lagrange function) ,其 中 v=(v,v,,… ,V1)", 称 之 为 Lagrange 
乘 子 向 量 ( Lagrange multipliers vector) ,h(x) =(h,(x) ,h(x) ,h(xr)) ,NM 
V4 
Vi) 


让 


VL(x,v) = [ 
这 里 
VL(x,0) =Vf(x) - > ov Vh(x), 


VL(x,v) = -h(x). 
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由 此 可 知 ,无 约束 最 优化 问题 
min L(x,v) 323 
的 最 优 性 条 件 
VIi(x,5) =0 
恰好 给 出 了 约束 最 优化 问题 (3. 2. 1) 的 最 优 性 条 件 (3. 2.2) 和 等 式 约束 
h(x) = 0, = 1,2,.,1, 
此 即 问题 (3. 2. 1 ) 的 局 部 极 小 点 三 必须 满足 的 约束 条 件 . 
于 是 ,从 方程 组 


WN - DuyVh(x) =0, 
h(x) = 0 = 1,2,.,l 
解 出 Zoo) 的 平稳 点 [| ,那么 对 应 的 就 可 能 是 问题 (3.2.1) 的 最 优 解 这 


明 ,Lagrage 定理 的 意义 在 于 能 将 等 式 约束 最 优化 问题 (3.2. 1) 的 求解 化 为 无 约 
束 最 优化 问题 (3. 2. 3 ) 的 求解. 
定理 3.2. 1 的 证 明 因为 yh,(X) ,VV h,(),… ,WVh,() 线 性 无 关 , 所 以 向 
量 函 数 h(x) 在 处 的 Jacobi 矩阵 
Vh(x) = (Vh,(F),Vh,(x),,V h(x))" 
是 行 满 秩 的 ,不 妨 设 VW h(#) 的 前 1 列 是 线性 无 关 的 ,从 而 线性 方程 组 
有 惟一 的 解 五 = (5 ,5,,… ,5)". 
记 》= (xxlva, ,Xx,) , 则 对 于 等 式 约 束 方程 
h(x) = 局 (xyz Ky" ) =0J=1,2,…,!， 
由 隐 函 数 存在 定理 可 知 ,在 了 = (2 ,za,…,z) 的 某 邻 域内 存在 n -1 元 函数 
Wisi=1,2,…,4, 使 


1 (3.2.4) 


x = Wp) ,i = 1,2,0l, 
并 且 
hp) spay) (7) 9) = 0 = 1,2,. ,1 (3.2.5) 
另外 ,由 于 是 问题 (3.2.1) 的 局 部 极 小 点 ,因此 存在 8>0, 使 
f(x) < f(x), Vx e N(x)N {xlh(x) =0|. 
从 而 对 于 了 的 某 邻 域内 的 y, 有 
fp) ad), FF) SY) say) ,hy) 7 ) ， 
即 了 是 无 约束 最 优化 问题 
min p(y) = f(y (3) ,pay) rr) 7 ) 
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的 局 部 极 小 点 . 于 是 由 定理 3. 1. 1 知 
Vo(y) =0， 
即 有 


ap(7) -六 fF) Wl3) ,Af(F) 
ax， 


本 ee Er 0O,i=l1+1,l+2,.…,n. 


(3.2.6) 
对 (3.2.5) 式 应 用 隐 函 数 求 导 法 则 ,得 
六 的) OV.(3) ， 2h,( 寺 ) 
EE oz gxi xi 
把 上 式 各 方程 相应 地 乘 以 并 相 加 ,得 
5 人 Oh,(¥) 华人 


0 
全 行 9xk 


=0j=1,2,. ,li =1+1,l+2,.,n 


， 
Dy Oi = 1+1,+2,n 
(3.2.7) 
将 (3.2.6) 式 减 去 (3.2.7) 式 ,有 
oz) h(E)W(T) fF) h(E) 
2 Er 名 ) Eo p32 0s 


i=l+1,l+2,..,n. 


由 (3.2.4) 式 知 ,上 式 括 弧 中 的 式 子 为 0, 从 而 


下 1 
DD - D5 人 =0i=l+1,l+2,.,n. (3.2.8) 
综合 (3.2.4) 式 和 (3.2.8) 式 ， ek 0 


下 面 给 出 问题 (3. 2. 1) 的 局 部 极 小 点 的 二 阶 充分 条 件 . 

定理 3.2.2 设 /:R" 一 R 和 帮 :R "一 RU=1,2,…,1) 在 点 过 ER 的 处 具有 二 
阶 连续 偏 导数 . 若 存在 5e R' ,使 得 

VLE5 =0 
并 且 , 对 一 切 非 零 向 量 ze R", 只 要 
z Vh(x) =0, = 1,2,,, 
便 有 
z ViL(E5)z > 0， 

则 大 是 问题 (3.2. 1) 的 严格 局 部 极 小 点 - 

证 明 由 VL(E,5) =0 可 知 V,L(x,5) =0, 即 h(x) =0, 因 此 x 是 问题 
(3.2.1) 的 可 行 点 . 

用 反 证 法 证 明 三 是 问题 (3. 2. 1) 的 严格 局 部 极 小 点 , 若 不 然 , 在 三 的 某 个 邻 
域内 存在 收敛 于 三 的 点 列 |y,1 ,7 天 天 大 =1,2,… ,使 得 对 每 个 % ,有 

hi(yi) =0J=1,2，…， (3.2.9) 
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/91) /AE). (3.2.10) 
令 0.= yl ,z= (yz)/0;, 则 
Je =E+02,0. >0,1zl = 1. 
由 于 1z| 有 界 ,因此 有 收敛 子 列 , 不 妨 设 1z| 收 合 , 记 zz 一 z(k 一 w ), 则 ‖ zl =1. 
而 9, 一 0(k 一 wm ) , 故 由 Taylor 公式 有 
hi(yi) = h(x) + Oz Vh(x) +o(‖ gz) = 1,.2， 让 
注意 到 二 为 可 行 点 和 (3. 2.9) 式 ,并 在 上 式 中 除 以 0, ,再 令 所 va ,可 得 
Zz Vh(x) = 0, = 1,2,.,1. 
同样 ,由 二 阶 Taylor 公式 ,有 
L110) = LF) + Orer VL(E,D) + FOr VIL(E,D)z, + ol | Orz, 1?). 


(3.2.11) 
由 于 对 于 k=1,2,… 和 j=1,2,…,l, 有 h(y,) =0,h,(x) =0, 因 此 
LO5) = - > sh(y) =f(y,), 


后 
1 


L(E,5) =/(x) - 5 Dh(x) =/(x). 
又 因为 ,L(t,5) =0, 所 以 由 (3.2. 11) 趟 得 
fp) = fF) + Oa! VEL(z,D)z, + 0 | iz, I’), 
从 而 由 (3.2. 10) 式 得 


1 pa 
ZO VEL(E,D)z + ol 07’) < 0. 


对 上 式 除 以 让 ,并 令 k-，e , 即 得 


z" VIL(x,D)z < 0. 
此 与 定理 的 条 件 矛盾 . 0 


这 个 定理 的 几何 意义 是 ,在 Lagrange 函数 的 平稳 点 | ”| 处 ,如 果 Lagrange 函 


数 关于 r 的 Hesse 矩阵 在 约束 曲面 的 切 平面 上 正定 (并 不 需要 在 8" 中 正定 ), 闭 
么 三 就 是 问题 (3. 2. 1) 的 严格 局 部 极 小 点 . 
例 3.2.1 试用 最 优 性 条 件 求解 
min Jr) = x +x; 
{ ti h(x) = -8 =0; 
解 ”Lagrange 函数 为 
L(x,v) = x +x: -v(xx, — 8), 
sl 


则 
2x，- vx 
VLi(x,v) -| 2x, — vx | 
- (mxz -8) 
从 而 得 L(x,u) 的 平稳 点 (V8,V8,2)7 和 ( -V8, -V8,2)". 对 应 有 
元 = (V8 8) = 2， 


和 
¥=(-V8, -V8) =2. 
由 于 
， eg 2 -5 2 -2 下 EE 
VD =[ ， =-[ yx =- [2] 
因此 
M(¥) = {m5) | (n,n) Vh(z) = 0 
= |{(zaza) |zz, +za2 = 0 
= {5)" la = -a 


并 且 对 任何 ze M(x) ,zz#0, 有 

z' VAL(E,5)z = 2z -4zz +22 = 8z3 > 0. 
利用 定理 3.2.2, 所 得 的 两 个 可 行 点 = (V8,V8)" 和 = ( -V8, -V8)" 都 是 问 
题 的 严格 局 部 极 小 点 . 0 


3.3 不 等 式 约束 最 优化 问题 的 最 优 性 条 件 


考虑 不等式 约束 最 优化 问题 
fe f(r); 
st g(x) 0,i=1,2,,m, 
其 中 f:R" 一 R,g,:R" 一 R(i=1,2,…,m). 


3.3.1 几何 最 优 性 条 件 


为 增加 直观 性 ,我 们 先 给 出 问题 (3.3.1) 最 优 性 条 件 的 几何 表示 ,然后 再 讨 
论 它 的 代数 表示 . 为 此 引入 几 个 概念 . 
R" 中 集合 5 的 闭 包 ( closure) 是 指 
clS= IxeR"|ISNN(x) 2G,V6 > O01. 
定义 3.3.1 设 SCR",xeclS,deR",dzx0, 若 存在 8>0, 使 得 
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xX+AdeS,vVAe (0,6), 
则 称 a 为 集合 5S 在 点 三 处 的 可 行 方向 (feasible direction). 
如 果 d 既是 5 在 点 处 的 可 行 方向 ,又 是 f:5 一 R 在 点 处 的 下 降 方 向 , 则 
称 d 为 /在 点 处 关于 5 的 可 行 下 降 方 向 (feasible descent direction). 
由 此 定义 可 知 ,从 点 三 出 发 , 沿 可 行 方向 了 的 微小 移动 , 必 能 达到 $ 的 一 
个 点 . 
集合 5 在 点 处 所 有 可 行 方 向 的 集合 
D= ldld 0, 存 在 6 > 0, 使 +Ad e S,VA e (0,8)|， 
显然 是 一 个 以 为 顶点 的 锥 ,我 们 称 之 为 5S 在 处 的 可 行 方 向 锥 ( feasible 
direction cone). 
特别 地 ,当主 e intS 时 ,5 在 点 处 的 可 行 方 向 锥 是 全 空间 R". 
根据 定理 1.2.3, 如 果 SCR",xze5S,deR" 有 目 f:S 一 R 在 点 x 处 可 微 
六 A(x)"d <0, 则 4d 为 /在 点 处 的 下 降 方向 . 因此 ,我 们 称 锥 
Fo= {dl V/(z)'d < ol 
为 /在 点 处 的 下 降 方向 锥 (descent direction cone). 
图 3.3.1 画 出 了 可 行 方向 锥 和 下 降 方 向 锥 ， 
从 几何 图 形 上 看 ,在 点 处 沿 下 降 方向 移动 ,就 导 
致 目标 函数 /的 值 减 少 . 所 以 ,在 极 小 点 处 ,任何 
下 降 方向 都 不 是 可 行 方向 ,而 任何 可 行 方向 也 不 
是 下 降 方向 ,就 是 说 ,不 存在 可 行 下 降 方向 . 这 样 
就 得 到 了 一 般 约 束 最 优化 问题 极 小 点 的 一 个 必 
要 条 件 . 
定理 3.3.1 考虑 约束 最 优化 问题 
min f(x), (%3.2) 
其 中 SC R" 是 非 空 集合 ,f:5 一 R. 设 ie5, 且 /在 
于 处 可 微 . 若是 问题 (3.3.2) 的 局 部 极 小 点 , 则 
FND:=%. (3.3.3) 
证 明 用 反 证 法 . 假若 存在 de F。 nD, 则 de F。,deD,dz0. 由 的 定义 
和 定理 1.2.3, 存 在 6, >0, 使 
f(xE +Ad) < f(x),VA e (0,8,); 
由 D 的 定义 ,存在 6, >0, 使 
+AdeS,VAe (0,6,); 
再 由 五 为 局 部 极 小 点 的 定义 ,存在 6, >0, 使 
f(x) =/(1), VxeN, (x)NS. (3.3.4) 


图 3.3.1 可 行 方向 锥 与 
下 降 方向 锥 
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取 8=min[8 i 
hal 


]} 网 z+3asNa(a)ns 且 

/+ qa) < fz), 

此 与 (3.3.4) 式 矛盾 . 0 

现在 再 回头 来 讨论 问题 (3. 3. 1 ) 的 最 优 性 条 件 . 

设 为 问题 (3.3.1) 的 可 行 点 , 则 其 不 等 式 约束 条 件 在 处 呈现 出 两 种 
情形 : 
(1) gi (x) =0, 称 第 i 个 不 等 式 约束 为 在 处 起 作用 的 约束 (active 
constraint ) 或 紧 约 束 ( tight constraint) ; 

(2) g(x) >0, 称 第 i 个 不 等 式 约束 为 在 处 不 起 作用 的 约束 (inactive 
constraint ) 或 松 约束 (loose constraint) ; 

我 们 用 1(x) 表 示 在 可 行 点 处 起 作用 约束 的 指标 集 , 即 

1(x) = tilg(x) = 0,i = 1,2,..,.m}. 
对 于 起 作用 约束 , 当 点 沿 某 些 方向 稍微 离开 时 , 仍 
能 满足 这 些 约束 ,而 沿 另 一 些 方向 离开 时 ,不 论 步 
长 多 么 小 ,都 会 违背 这 些 约束 . 对 于 不 起 作用 约束 , 当 
点 稍微 离开 时 ,不 论 什么 方向 都 不 违背 这 些 约束 . 
如 图 3.3.2, 在 太 处 ,g,>0 和 8&g:>=0 是 起 作用 约束 ， 
8 0 是 不 起 作用 约束 . 

因此 ,在 研究 一 点 处 的 可 行 方 向 时 ,只 需 考虑 在 图 3.3.2 起 作用 约束 
该 点 起 作用 约束 ,那些 不 起 作用 约束 可 以 暂且 不 管 . 与 不 起 作用 约束 

定理 3.3.2 设 是 问题 (3.3.1) 的 可 行 点 ,f 和 
gi(iel(x) ) 在 点 处 可 微 ,g,(is1() ) 在 点 处 连续 ,如 果 是 问题 (3.3.1) 
的 局 部 极 小 点 , 则 


FNG=8, (3.3.5) 
其 中 
6G, = ld| Ve(i)'d >0,ie I(x)}. 
证 明 由 定理 3.3.1 知 ,只 需 证 明 6, SD. 
对 于 任意 de Go, 当 ie1(*) 时 ,Vg,(x)'d >0, 所 以 由 定理 1.2.3,d 是 
g(x) 在 点 处 的 上 升 方向 , 即 存在 6; >0, 使 得 对 一 切 Ae(0,6,) ,有 
gi(F+Ad) > g(x) = 0,ie 1(x). 
而 当 is 1(z) 时 ,因为 g(x) >0, 所 以 由 g,(x) 在 点 处 连续 知 ,存在 6, >0, 使 得 
对 一 切入 e(0,6,) ,有 
gi(F +Ad) > 0,igl!(x). 
Ss 


取 5=min 16, |i=1,2,…,m| , 则 对 一 切 Ae (0,6) ,有 
Bi(F¥ +Ad) > 0,i= 1,2,,m, 
从 而 +Ad 为 问题 (3. 3. 1) 的 可 行 点 . 显然 4 头 0, 因 此 d 是 在 点 处 的 一 个 可 行 
方向 , 即 de D, 从 而 6, SD. 0 
条 件 (3.3.3) 和 (3.3.5) 分 别称 问题 (3.3.2) 和 (3.3.1) 的 几何 最 优 性 条 件 
(geometric conditions for optimality) ,其 特点 是 直观 ,但 难以 在 实际 计算 中 应 用 . 
下 面 我 们 将 几何 最 优 性 条 件 转化 为 代数 最 优 性 条 件 ( algebraic conditions for 


optimality ) . 
3.3.2 Fritz John 条 件 


定理 3.3.3 设 是 问题 (3.3.1) 的 可 行 点 ,f 和 g,(ie1(x)) 在 点 处 可 
微 ,gi(i&s1(*) ) 在 点 处 连续 ,若是 问题 (3.3.1) 的 局 部 极 小 点 , 则 存在 不 全 
为 0 的 非 负数 uo ,u(ie1(t)) ,使 

uo VE) - > u Vg(x) = 0. (3.3.6) 
i 
如 果 gi,(i&7() ) 在 点 处 也 可 微 , 则 存在 不 全 为 0 的 非 负数 wo,u,,… ,uv ,使 


lo 和 i = 0， 
人 VA(GE) 名 = Ve(x) es 


ugi(F¥) = 0 = 1,2,.,m. 
证 明 根据 定理 3.3.2,FonGuo= 包 , 即 关系 式 组 
V/(x)'d <0， 
—- Vel(xr)'d <0,ie /I(x) 
无 解 . 又 由 Gordan 定理 , 必 存 在 不 全 为 0 的 非 负 数 uo,u,(ie1(x)), 使 (3.3.6) 
式 成 立 . 
如 果 g,(i&1() ) 在 点 处 可 微 , 则 只 要 uw, =0(is1(z)) ,就 有 (3.3.7) 式 
成 立 . 0 
式 (3.3.6) 和 式 (3.3.7) 都 称 为 问题 (3.3.1) 的 Fritz John 条 件 . 满足 Fritz 
John 条 件 的 点 称 为 Fritz John 点 . 
例 3.3.1 设 
min f(x) = 一 xi 
st g(x)= (1-x) -zx,>0, 
B(x) = x, >0, 


试 判别 = (1,0)" 是 否 为 Fritz John 点 . 
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解 因为 
van = [ve =- [ve = [0], 
且 7(x) = 11,2} ,所 以 为 使 Fritz John 条 件 
一 0 0 0 
i 
成 立 , 只 有 u。 =0 才 行 . 取 w =0, = 由 =a>0 即 可 ,因此 天 是 Fritz John 点 . 0 


这 个 不 等 式 约束 最 优化 问题 的 可 行 域 见 图 3.3.3, 由 此 即 知 = (1,0) 是 
局 部 极 小 点 ,也 是 全 局 极 小 点 . 


中 [本 和 目 
Vai(x) 


图 3.3.3 Fritz John 条 件 中 u。=0 的 情形 


这 个 例子 说 明 在 Fritz John 条 件 中 有 可 能 we =0, 当 uv =0 时 ,目标 函数 的 梯 
度 了 A() 就 会 从 Fritz John 条 件 中 消失 ,此 时 ,Fritz John 条 件 实际 上 不 包含 目标 
函数 的 任何 信息 ,仅仅 表明 起 作用 约束 函数 的 梯度 线性 相关 ,而 这 对 表述 最 优点 
没有 什么 实际 价值 . 

为 了 保证 u。>0, 还 需要 对 约束 再 加 上 一 些 限 制 条件 . 这 种 限制 条 件 通常 称 
为 约束 规格 ( constraint qualifications ). 一 个 自然 的 想法 是 附加 V &,(z) (ie 
1() ) 线 性 无 关 的 约束 规格 ( 当然 还 有 许多 其 他 的 约束 规格 ,参见 文献 [48， 
50] ) ,这 样 就 得 到 了 著名 的 Kuhn - Tucker 条 件 . 


3.3.3 Kuhn -Tucker 条 件 


定理 3.3.4 设 了 是 问题 (3.3.1) 的 可 行 点 ,f 和 g,(ie1(z)) 在 点 处 可 
微 ,g,(is 7(z) ) 在 点 处 连续 ,并 且 V g,(*) (ie 1(z) ) 线 性 无 关 . 若是 问题 
(3.3.1) 的 局 部 极 小 点 , 则 存在 非 负数 u.(ie 1() ) , 使 得 

VAE)- >uuVe() =0. (3.3.8) 


ET 
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如 果 gi(is1() ) 在 点 五 处 也 可 微 , 则 存在 u>>0(i=1,2,…,m) ,使 得 


VAE) - Fu Vals) = 0， 
| 扣 (3.3.9) 
ugi(¥) = 0,1 = 1,2,.…,m. 

证 明 根据 定理 3.3. 3 ,存在 不 全 为 0 的 非 负 数 ,i(ie 1()) ,使 
zaVAz) - > 环 Ve(z) = 0. 
ie Nz) 
易 知 上 式 中 >0, 这 是 因为 车 吉 =0, 则 由 (ie1(X)) 不 全 为 0 知 V g(x) 
(ie 1() ) 线 性 相关 ,此 与 条 件 矛盾 . 由 此 令 


uw = ET(E)， 
uo 


则 w=0(ie1(#)), 且 (3.3.8) 式 成 立 . 
如 果 g; (is1(x)) 在 点 五 处 也 可 微 , 则 只 要 令 u, =0(i&1()), 就 有 
(3.3.9) 式 成 立 . 0 
条 件 (3.3.8) 和 (3.3.9) 均 称 为 问题 (3.3.1) 的 Kuhn - Tucker 条 件 ,简称 
K -T 条 件 . 满足 K -T 条 件 的 点 称 为 K -T 点 . 式 (3.3.9) 中 的 第 2 式 称 为 互补 
松弛 条 件 ( complementary slackness condition ) . 
K -T 条 件 有 着 明显 的 几何 意义 .在 K-T 条 件 (3.3.8) 中 ， 
VAGz) = 6)， 
而 集合 
ty = Bu Vaz), > 0 e 17)))} 
是 在 点 处 起 作用 约束 函数 的 梯度 VV g(x) (ie 1(*) ) 所 生成 的 西 锥 . 因此 , 若 克 
是 问题 (3. 3. 1) 的 局 部 极 小 点 , 则 目标 函数 的 梯度 人 Vf(#) 必 属于 上 述 凸 锥 . 
例 3.3.2 求 最 优化 问题 
min f(x) = (zi 一 1) +x,; 
s.t. g(x) =-x -x +2>0, 
g(x) =x >0 
的 K-T 点 . 
解 因为 


A AE 
所 以 K -了 条 件 为 
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2(z -1) +u, =0, 
1+a -wu =0, 
ui( -x -x +2) =0， (3.3.10) 
tax =0， 
ui >0,u,>0, 
这 是 以 x ,x,,u ,ws 为 变 元 的 非 线性 方程 组 ,一 般 来 说 ,求解 非 线 性 方程 组 比较 
复杂 . 但 是 这 里 求解 并 不 困难 . 
车 u, =0, 则 由 (3.3.10) 的 第 2 式 得 u, = -1, 这 与 wW=0 矛盾 .因此 >0, 由 
(3.3. 10) 的 第 4 式 知 z =0; 
若 -z +2=0, 则 由 (3.3.10) 的 第 1 式 得 ww = -2, 这 与 u,>0 矛盾 . 因此 由 
(3.3. 10) 式 的 第 3 式 知 u, =0; 
再 将 wW =0 代入 (3.3.10) 的 第 1 式 、 第 2 式 得 x, =1,u =1. 
由 于 ww,>0,u,>0, 且 =(1,0)" 为 问题 的 可 行 点 ,因此 是 问题 的 
K-T 点 . 0 
下 面 给 出 凸 规划 的 最 优 解 的 充分 条 件 . 
定理 3.3.5 设 在 问题 (3.3.1) 中 ,/ 和 -&(i=1,2,…,mm) 是 凸 函 数 ,大 是 
可 行 点 ,并 且 / 和 g,(ie1(x) ) 在 点 处 可 微 . 若是 问题 (3.3.1) 的 K-T 点 , 则 
是 问题 (3. 3. 1) 的 全 局 极 小 点 . 
证 明 由 假设 条 件 , 问 题 (3.3. 1) 的 可 行 域 5 是 凸 集 . 因为 了 是 凸 函数 且 在 
点 处 可 微 ,所 以 
fx) f(x) +V/(I)" (x -x3), Vx es. 
又 因为 K-T 点 , 故 存在 wu,>0(ie1(z)) ,使 
VE) = 六 ui V g(x). 


iT 


从 而 
Ar)>=Fz) + 》 u Val(x) (x-x), VreSs. (3.3.11) 


i 
同样 ,由 于 是 函数 -g,(ie1(¥) ) 在 点 处 可 微 ,因此 对 一 切 xe5, 有 
— g(x) >-g(F) +(- Ve(x)) (x - x), Vi ee I(x). 
注意 到 上 式 中 g,(X) =0, 且 对 一 切 xe5, 有 g,(x) 0, 从 而 
Val(x)'(x-x)>0,Viel(xz), Yres, (3.3.12) 
根据 (3.3. 11) 和 (3.3. 12) 两 式 , 有 
Jr) >7E) ,YVES， 
即 大 是 问题 (3. 3. 1) 的 全 局 极 小 点 . 0 
由 上 述 定理 可 知 , 例 3.3.2 中 的 K-T 点 =(1,0)" 必 是 全 局 极 小 点 . 
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3.4 一 般 约 束 最 优化 问题 的 最 优 性 条 件 


考虑 等 式 和 不 等 式 约束 最 优化 问题 
min f(x); 
St. g(r) 0 = 12 ppm， (3.4.1) 
h(x) =0J = 1,2,..,1, 
其 中 /:R" 一 R,gi:R" 一 RR(i=1,2,…,m) ,局 :R 一 Ri =1,2,…, 有 .并 把 问题 
(3.4.1) 的 可 行 域 记 为 5. 

同 不 等 式 约束 最 优化 问题 类 似 ,我 们 先 给 出 问题 (3.4.1) 的 几何 最 优 性 条 
件 , 然 后 给 出 代数 最 优 性 条 件 . 

设 主 为 问题 (3.4.1) 的 可 行 点 , 即 *e 5, 记 点 处 的 紧 约 束 的 指标 集 为 /() = 
上 | gi() =0,i=1,2,…,m|. 类似 于 定理 3.3.2, 我 们 有 

定理 3.4.1( 几何 最 优 性 条 件 ) 设 为 问题 (3.4.1) 的 可 行 点 ,/ 和 g,(ie 
1() ) 在 点 处 可 微 ,h(j=1,2,…,1) 在 点 处 具有 一 阶 连续 偏 导数 ,g, (ie 
1() ) 在 点 处 连续 ,并 且 向 量 组 V h,() ,VV h,(),… ,hh,(z) 线 性 无 关 . 若 太 
是 问题 (3.4.1) 的 局 部 极 小 点 , 则 

FANG NH,=8, 
这 里 
Fo= {dl V/A(i)'d < 01, 
Go = ld|l Ve(x)'d >0,ie I(x)}, 
Ho = ld| Vh(x)d = 0, = 1,2,.,l}. 

证 明 若 1=n, 则 由 Vh,(),V h,( 玉 ),…,Vh,() 线 性 无 关 可 知 ,H。 = 
101 ,从 而 6onH = 名 , 故 结论 成 立 . 下 设 1<n, 且 Go Hz 2 ,我 们 只 需 证 明 ;: 
对 于 一 切 de GoNH, 必 有 ad&F,. 

由 于 VV h,() ,VV h,(),…,V h,( 主 ) 线 性 无 关 , 因 此 对 于 由 它们 生成 的 R" 
的 ! 维 子 空间 ,存在 一 个 正 交 补 子 空间 . 因为 de con 友 ,所 以 d 关 0, 且 
VVh(x)"d=0(j=1,2,…,1), 从 而 可 设 这 个 正 交 补 子 空间 的 正 交 基 为 d， 
i 

现在 考虑 方程 组 


h(x) =0,=1,2,.…,1, 
di(x -x¥) =0,i=1,2,…,n-l-1, (3.4.2) 
d'(x -x)-0=0, 
其 中 9 为 实 变量 . 若 记 
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h(x) = (h(x) ja(z) ,ee h(x)) ,A = (di,d,, ,ds ), 


h(x) 
A'(x -x) | 
d'(x -x)-0. 
则 间 题 (3. 4.2) 等 价 于 


p(x,0) = 


p(x,0) =0. (3.4.3) 
显然, 向 量 函数 (x,6) 在 点 | 6] 处 关于 x 的 Jacobi 矩阵 为 


VPR) 
AT 
a 

其 中 以 h(x) = (VVh,(E),Vh,(),…,Vh,(z))" 是 向 量 函 数 h(x) 在 点 处 的 

Jacobi 矩阵 . 由 前 面 的 讨论 及 假设 ,不 难 知道 ,V.p(E,0) 的 逆 矩 阵 为 

(Vh(x)'(Vh(x)V h(x)") ,4,d). 

又 因为 问题 (3. 4. 2) 的 左边 的 每 个 函数 关于 x 和 0 都 有 一 阶 连续 偏 导数 ,所 以 由 

隐 函 数 存在 定理 ,在 9= 0 的 某 个 邻 域内 存在 具有 一 阶 连续 偏 导数 的 向 量 函 数 

x(6) ,使 x(0) =, 且 当 9 充分 小 时 ,有 p(x(9),9) =0, 从 而 h(x(9)) =0. 

把 (3.4.3) 式 的 两 边 对 9 求 导 , 得 
Vop(x,0) +V.p(x,0)V x(0) =0. 


V.p(x,0) = 


而 

Vop(x,0) =(0,0,.…,0, -1)", 
故 

Vx(0) =- (V.p(x,0))™ Vup(¥,0) = da. 
由 于 对 一 切 is 1(z) ,g(x) 在 点 处 连续 , 且 g;(*) >0, 因 此 当 9 充分 小 时 ,有 
Bi(x(0)) > 0,Visl(x); 
又 因 de 6。, 故 g(x(0) ) 在 8=0 处 的 导数 为 
Ve(x) Vx(0) = Ve(x)'d > 0,Vie {I(x), 
即 g,(x(9))(iel(x)) 在 9=0 处 严格 单调 增加 , 即 当 9 为 充分 小 的 正 数 时 ,有 
gi(x(0)) > g(x(0)) = 0,Vie {I(x). 

于 是 当 9 为 充分 小 的 正 数 时 ,有 

二 起 > 0,i = 1,2,…,m, 

h(x(0)) = 0,7 = 1,2,.,1, 
即 当 8 >0 充分 小 时 ,x(9) e5. 
因为 为 问题 (3.4.1) 的 局 部 极 小 点 ,所 以 当 0>0 充分 小 时 ,有 
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Ar(9) ) 三 帮 元 ) . (3.4.4) 
由 于 f(x) 在 点 处 可 微 ,x(9) 在 9=0 处 可 微 ,因此 由 Taylor 公式 ,有 
f(x(0)) = f(x(0)) +0V/(x)"d + 0(0), 
即 由 (3.4.4) 式 知 
o(0) 
0 
在 上 式 中 令 6-0, 得 Vf/(x)"d>0, 即 d& Fo. 0 
下 面 给 出 这 个 几何 最 优 性 条 件 的 代数 表达 . 
定理 3. 4.2( Fritz John 条 件 ) ” 设 为 问题 (3.4.1) 的 可 行 点 ,/ 和 g,(ie 
1() ) 在 点 处 可 微 ,h,(j =1,2,…,1) 在 点 处 具有 一 阶 连续 偏 导 数 ,g, (i 
1() ) 在 点 处 连续 ,车 为 问题 (3.4.1) 的 局 部 极 小 点 , 则 存在 不 全 为 0 的 数 
woui(iel(x)) 和 vj=1,2,.…,1) ,有 wu,>0,u,>0(ie/l(x)) ,使 


Vf(x) d+ 


=0. 


1 
uVAz) - Du Ve(x) - Dv Vh(x) = 0. (3.4.5) 


i 
若 gi(i&1() ) 在 点 处 也 可 微 , 则 存在 不 全 为 0 的 数 woyu(i=1,2,…,m) 入 
(j=1,2,…,1) , 且 wo>0,u,>0(i=1,2,…,m) ,使 
1 
uo Vf(x) - Ves) - Vhs) = 0， Gb 
Wgi(s) = 0 = 12,°°,m. 
证 明 若 人 Vh(x),V h(x),…,V h(t) 线 性 相关 , 则 存在 不 全 为 0 的 数 


ai yo 使 
六 VCG) = 0， 
这 时 ,可 令 us =0,u =0(ie1(z)) ,得 到 (3.4.5) 式 .下 设 人 h(E) ,hh()，…， 
玉 h,() 线 性 无 关 . 根据 定理 3.4.1, 有 
FNGNH,=8, 
即 关 系 式 组 
VAz)rda<0， 
Ve.(x)"d >0,iel(x), (3.4.7) 
Vh(x)'d=0,=1,2, 
无 解 . 记 1(x)= i,i,…,il, 且 
A = (VE), -Ve (x),, - Ve (x))", 
B= (Vh (x),Vh, (i),,V h(x))", 
则 关系 式 组 (3. 4. 7) 无 解 等 价 于 关系 式 组 
Ad <0,-Bd=0 (3.4.8) 
二 


无 解 . 
由 择 一 性 定理 2. 1.9 可 知 , 关系 式 组 (3.4.8) 无 解 当 且 仅 当 存在 we R"*'， 
&>>0,zz0 及 ve R', 使 得 
A'u-B'v=0. (3.4.9) 
从 而 ,由 4 和 B 的 意义 以 及 (3.4.9) 式 知 (3.4.5) 式 成 立 . 
如 果 g;(i&1()) 在 点 处 也 可 微 , 则 只 要 令 u, =0(is1(z)), 就 得 到 
(3.4.6) 式 . 0 
例 3.4.1 设 
min f(x) = 对 + 到 ; 
st g(x) =x -x >0, 
B(x) = x >0, 
h(x) =— (x -1)2+z =0, 
试 判 断 点 = (1,0)" 是 否 为 Fritz John 点 . 
解 1(x)=12|, 且 


vr) = [ve = [vr = [1), 
因此 为 使 Fritz John 条 件 
2 0 
“[o]-* [9-0] = [0 
成 立 ,只 有 wu。 =0 才 行 .所 以 取 wu =0, =1,v= -1, 即 知 是 Fritz John 点 ， 口 


图 3.4.1 中 夯 出 了 这 个 最 优化 问题 的 可 行 域 , 它 是 抛物 线 x, = (zx -1) 上 
点 右 侧 那 部 分 线段 . 


VX) 


图 3.4.1 例 3.4.1 的 图 示 


上 例 表明 ,在 Fritz John 条 件 中 ,不 排除 目标 函数 梯度 的 系数 w。=0 的 情形 . 
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为 保证 wo 关 0, 需 给 约束 条 件 施加 某 种 约束 规格 ,从 而 给 出 问题 (3. 4. 1) 的 K -T 
必要 条 件 . 
定理 3.4.3(K-T 条 件 ) 设 为 问题 (3.4.1) 的 可 行 点 ,f 和 gi(ie1(x)) 
在 点 处 可 微 ,h(j=1,2,… ,1) 在 点 处 具有 一 阶 连续 偏 导 数 ,g,(is1(x) ) 在 
点 处 连续 , 且 向 量 组 
Veal(x)(ie 1(x#)),Vh(x)() = 1,2,.%,l) 
线性 无 关 . 车 是 问题 (3.4.1) 的 局 部 极 小 点 , 则 存在 数 w=0(ies71(z)) 和 
(j=1,2,…,1) ,使 
VAz) - ,全 = 0. (3.4.10) 
如果 @(is (37) ) 在 点 处 也 可 人 ， 则 存在 数 >0(i=1， 2,,m) 和 vw(j=1, 
…,0) ,使 
We ja Su vel) - DvVh(r) =0, 
wgi(¥) = 0 人 = 1,2,,m 
证 明 ”利用 定理 3.4.2, 仿 照 定理 3.3.4 的 证 明 即 可 证 明 这 个 定理 . 0 
K -了 条 件 (3.4.10) 和 (3.4.11) 可 看 作 是 等 式 约束 最 优化 问题 (3.2.1) 的 
Lagrange 条 件 (3.2.2) 与 不 等 式 约束 最 优化 条 件 问 题 (3.3.1) 的 K-T 条 件 的 综 
合 . 问题 (3. 4. 1) 比 问题 (3. 3.1) 多 了 i 个 等 式 约束 ,因此 ,相应 的 K-T 条 件 多 
了 - 之 vwVh() 这 个 项 ,而 这 恰好 是 Lagrange 条 件 中 等 式 约束 对 应 的 那 一 
所 
部 分 . 
若 记 


(3.4.11) 


B(x) = (g(x) ,g(x) ,ga (x))", 
h(x) = (h(x) ,h(x) ,h(x)), 
= (yi 
v= (v0) 
则 向 量 函 数 g(x) 和 h(x) 的 Jacobi 矩阵 分 别 为 
Ve(x) = (Ve(x),Ve(x),,V g(x))", 
VRh(x) = (VAh (x),Vh(x) ,VV h(x))", 
从 而 K-T 条 件 (3.4.11) 可 以 写成 
Vf(i) -Ve(x)'u - Vh(x)'v = 0, 
u'g(x) = 0， (3.4.12) 
u 三 0. 
定义 问题 (3. 4. 1) 的 如 下 广义 Lagrange 消 数 ( generalized Lagrange function ) 
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L(x,u,v) = f(x) -wg(x) - vih(x), 
u,v 称 为 广义 Lagrange 乘 子 向 量 ( generalized Lagrange multipliers vector) 或 K-T 
乘 子 向 量 . 于 是 (3. 4. 12) 式 又 可 写作 
VL(x,u,v) = 0, 
u'g(x) = 0， 
u>=0. 
根据 定理 3. 4.3 , 若 玉 为 问题 (3.4. 1) 的 局 部 极 小 点 , 则 存在 向 量 五 >=0 各, 使 
LED) =0， 
即 ( ,三 , 玉 ) 7 为 L(x,u,v) 的 平稳 点 . 
对 于 凸 规划 ,上 述 K -T 条 件 也 是 最 优 解 的 充分 条 件 . 
定理 3.4.4 设 在 问题 (3.4.1) 中 和 -&(i=1,2,…,m) 是 凸 函数 , 力 () = 
2,…,l) 是 线性 函数 ,x 是 可 行 点 ,并 且 / 和 g,(ie1()) 在 点 处 可 微 .若是 
问题 (3.4.1) 的 K-T 点 , 则 是 问题 (3.4.1) 的 全 局 极 小 点 . 
证 明 由 假设 知 问题 (3.4. 1 ) 的 可 行 域 5 是 凸 集 . 因为 1 是 凸 函数 且 在 点 
处 可 微 ,所 以 
f(x)>f(F) +V/(F) "(x -x), VxesS. (3.4.13) 
又 g,(ie1() ) 为 四 函数 且 在 点 处 可 微 , 故 
B(x) < B(x) + Va(x) (x -x),Viel(i),Vres, 
而 xeS,iel(F) 时 ,g,(x) >0,g,(*) =0. 于 是 
Ve(x)'(x-i)>0,Viel(x),VxeS. (3.4.14) 
由 于 h(x) (j=1,2,…,1) 是 线性 函数 ,因此 
h(x) = h(i) + Vh(x) "(x -元 ) =1,2,..,l, Vx e 5. 
因 
h(x) = h(x) =0, =1,2,.%,l,Vx eS, 
故 
Vh(x)' (x -x)=0,j=1,2,.,l, VreS. (3.4.15) 
注意 到 为 K-T 点 , 即 存在 数 w,>0(iel1()) 和 vw(j=1,2,…,!) 使 
1 
VAE) = umVeg(z) + Dv Vh(x), 
iellr) Ei 
从 而 由 (3.4.14) 和 (3.4.15) 两 式 易 知 
Vf/(i)'(x -x)>0,Yres. 
把 上 式 代 入 (3.4. 13) 式 得 
f(x) =/(1),Vxr eS, 
即 到 为 全 局 极 小 点 . 0 
例 3.4.2 求解 最 优化 问题 
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min f(x) = (x, -3) + (x, 一 1)2， 
St. g(x) =-x +x,>0, (3.4.16) 
h(x) =2x, +x -3=0. 
解 问题 (3.4.16) 的 广义 Lagrange 函数 为 
L(x,u,v) = f(x) - ug(x) ~ vh(x) 
= (x 3) + (x — 1) -u(x +x) -v2x, +x -3). 
因为 


OL(x ,u,v) 
ox, 


oOL(x,u,v) 
Gx, 


所 以 问题 (3.4.16) 式 的 K-T 条 件 及 约束 条 件 为 
2(x, -3) +2ux, -2v =0, 
2(z -1) -u-v=0, 


= 2(z -3) +2ux, - 2v， 


=2(x -1) -wu-y, 


u( -x? +x2) =0, 
(3.4.17) 
—x? +x,>0, 
2x, + 和 -3=0， 
4 0. 
下 面 分 两 种 情况 讨论 . 
(1) 设 w=0, 代 入 (3.4.17) 的 第 1. 第 2 式 连 同 第 5 式 有 
2(x, -3) -2v = 0, 
2(m -1) -v=0, 
2x + x -3 = 0. 


由 此 可 解 得 xi = 于 ,za = 于 ,= -号 , 但 它们 不 满足 (3.4.17) 的 第 4 式 , 即 x = 
( 画 , 讨 】 不 是 问题 (3.4. 16) 式 的 可 行 点 ,因而 不 是 K -了 点 . 
(2) 设 4>0, 此 时 (3.4.17) 式 成 为 
2(x, -3) +2ux, -2v =0, 
2(x; -1) -u-v=0， OA 
-x? +x, =0, 
2x, +x -3 =0. 
由 (3.4.18) 的 第 3 式 .第 4 式 有 


-x -2x+3 =0, 


”$s 


解 得 x, =1 或 zx = -3, 代 入 (3.4.18) 的 第 4 式 ,得 x,=1 或 *, =9, 再 分 别 代 入 
(3.4.18) 的 第 1 式 和 第 2 式 ,得 u=1 或 w= -11( 此 与 >0 戏 盾 ),v= -1 或 
v=27. 由 此 可 知 *=(1,1)" 是 问题 (3.4.16) 的 K-T 点 ,但 x=( -3,9)" 不 是 
问题 的 K -T 点 . 

容易 验证 ,f 是 R* 上 的 凸 函数 ,5 是 上 的 止 函数 ,六 是 线性 函数 ,因此 由 定 
理 3.4.4 知 ,5=(1,1)" 是 问题 (3.4. 16) 的 全 局 最 优 解 ( 见 图 3.4.2). 0 


图 3.4.2 例 3.4.2 的 图 示 


利用 广义 Lagrange 函数 并 仿照 定理 3. 2. 2 可 以 给 出 问题 (3.4.1) 的 局 部 最 
优 解 的 二 阶 充分 条 件 . 

定理 3.4.5 设 为 问题 (3.4.1) 的 可 行 点 ,f,g.(ie1(x)) 和 hh(j=1， 
2,…,1) 在 点 二 处 具有 二 阶 连续 偏 导数 ,并 且 存在 乘 子 向 量 = (i ，… ,i )" 
0 和 五 = (5,5,,…,5。)" 使 K-T 条 件 成 立 , 即 


[sot 50 (3.4.19) 
a g(x) = 0. 
车 对 于 任何 满足 
z' Vg.(x)>0,iel(x)H ,=0, 
z' Veg(x) =0,iel(x) 有 8 ,>0, (3.4.20) 
z' Vh(E) =0,7=1,2,.°,1 
的 向 量 zz0, 都 有 


z" ViL(x,n,5)z>0, (3.4.21) 
则 五 为 问题 (3.4.1) 的 严格 局 部 极 小 点 . 
证 明 ”用 反 证 法 . 假设 不 是 问题 (3.4. 1) 的 严格 局 部 极 小 点 , 则 在 的 某 
邻 域内 存在 收敛 于 五 的 点 列 |x,| C5,x, 队 ,k=1,2,… ,使 
fx) <f(F) ,k=1,2,.. (3.4.22) 
将 
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Js 一 下 
= 
lx 一 至 | 
则 1z1 有 界 , 因 此 有 收敛 子 列 ,不 妨 设 1z,| 收敛 ,其 极限 记 为 z, 从 而 上 z=1. 
根据 Taylor 公式 ,有 
Bi(x1) =8(F) +V gi(F) (re -Fx) +o( | xs -x ). (3.4.23) 
当 iel(z) 时 ,g(x¥) =0; 而 x,e 5, 故 g(x,) 宇 0. 于 是 由 (3.4.23) 式 得 


Ve(x) (x, -Fx) +o( ||x, -x | )>0. (3.4.23) 
上 式 两 边 除 以 xs -五 ,并 令 kw ,得 
zTVsg(E)>0,Vie1(z). (3.4.24) 
用 类 似 方法 不 难得 到 
ZVh(x) =0,=1,2,.…,1, (3.4.25) 
和 
z V/(x)<0. (3.4.26) 
下 面 分 两 种 情况 讨论 : 


(1) z 不 满足 (3.4.20) 式 
此 时 ,由 式 (3.4.24) 和 (3.4.20) 可 知 , 存 在 ie1(z) ,使 
i, >0,z Ve(x) > 0， 
从 而 由 K -条件 (3.4.19) 及 (3.4.24) (3.4.25) 式 和 五 =0, 得 


z" Vf(x) =z"( > 
00 
此 与 (3. 4. 26 ) 式 相 矛 盾 . 
(2) z 满足 (3.4.20) 式 
这 时 ,把 广义 Lagrange 函数 L(x, 吾 ,5) 在 点 处 应 用 二 阶 Taylor 公式 ,有 


L(xi,ii,v) = L(E,i,0) + VL(F,R,D)" (x, - ¥) + 


EV g(x) + SavVh(a)) > 0， 


F(x) VLG,D) (x, 2) + ol x4 2)，(3.4.27) 
因为 ze 5,5>0, 且 由 广义 Lagrange 隆 数 L(x,u,v) 的 定义 知 ,对 每 个 x,, 有 


Lx,D) = fx.) - Siig(x) - Toh(x,), 


全 ea 


所 以 
Lx,D) Sf(x) ,k=1,2,., (3.4.28) 
且 
卫 ( 亏 ,下 ,五 ) =f/(¥). (3.4.29) 
又 由 (3.4.19) 式 有 
VL(x,N,5) =0, (3.4.30) 


Py 


于 是 把 式 (3.4.28) ~ (3.4. 30) 和 式 (3.4.22) 代 人 (3.4.27) 式 ,得 


CT VL(E nD) (x 1) +ol Nx -2) < 0 


上 式 两 边 除 以 x， -1 ”, 并 令 一 % ,得 到 
zT ViL(x,i,5)z < 0, 
这 与 (3. 4. 21 ) 式 相 矛 盾 . 0 
例 3.4.3 求解 下 面 最 优化 问题 
ec 


min f(x) = 和 
st. B(x) = x 0,i=1,2,.,n, (3.4.31) 
h(x) = Sa -b=0, 
各 


其 中 常数 ai >0,c; >0,i=1,2,…,n;b>0. 
解 ”问题 (3.4.31) 的 广义 Lagrange 函数 为 


L(x,u,v) = > a Sus -»( Don -5), 


因为 
oe) -六 ne 
所 以 问题 (3.4.31) 的 K-T 条 件 及 约束 条 件 为 
Saw=0,i=1,2,n, 
和 


wixi =0,i=1,2,.,n, 
和 0,i=1,2，…,n， (3.4.32) 


3 aixi -b=0, 


wi20,i=1,2,,n. 
由 (3.4.32) 的 第 1 式 、 第 3 式 知 *,>0(i=1,2,…,n) ,从 而 由 (3.4.32) 的 第 2 式 
解 得 
E, = 0,i = 1,2,,n. 
于 是 由 (3.4.32) 的 第 1 式 知 v<0, 且 
ax + ce: =0i= 1,2,,n, 


即 得 


(3.4.33) 
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将 上 式 代 入 (3.4.32) 的 第 4 式 ,得 


代入 (3.4.33) 式 即 有 


天 


a 
所 以 五 = (z ,x ，,…,z,)" 是 问题 (3.4.31) 的 K-T 点 . 
又 由 于 L(x,,5) 在 点 (¥" ,Wi ,5)" 处 关于 x 的 Hesse 矩阵 VL( 开 ,如 ,5) 是 一 
个 n 阶 对 角 和 矩阵 ,其 对 角 线 上 第 i 个 元 素 为 


Ci 


有 >0,i = 1,2,,n, 

和 
因此 VL(t,,5) 是 正定 矩阵 . 根据 定理 3.4.5 ,x 为 问题 (3.4.31) 的 严格 局 部 
极 小 点 . 0 


习 题 三 Lees 


1. 试 讨论 参数 a 取 何 值 时 ,R' 的 原点 是 无 约束 最 优化 问题 
min axlen + en + se 
的 最 优 解 ? 
2. 把 下 列 二 次 函数 /(x) 写 成 


flx) = 了 or +8Tz +e 


的 形式 ,并 求 无 约束 最 优化 问题 min 刀 <) 的 最 优 解 和 最 优 值 

(1) (xi xs) =x? +2x2 + x x2s 
(2) (xi x2 ,x3) =3x? +4x2 +x3 -2xixa +3x2xy —4x, +5xy +10. 
3. 试 求解 下 列 等 式 约束 最 优化 问题 : 
i 全 Xt + Ax +16x2; 

St sx =1. 

min xi + 
2 
,人 人 和 入 

Eo 
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Pi 


让 2 
(3) . 
st 7 x=a(p>1,a>0). 
4. 证 明 等 式 约束 最 优化 问题 
min + 
(ss (zs -1)? -2 =0 
不 存在 局 部 最 优 解 . 
5. 验证 点 = (3,1)" 是 不 等 式 约束 最 优化 问题 
min (xz -7) +(x, -3) 
st 10-2 -22>=0, 
4-x,-zx>0, 
2 人 0 
的 Fritz John 点 . 
6. 求 下 列 约 东 最 优化 问题 的 K -下 点 : 
1 


a 
(DO. 72 -= -2z -2z>0， 


xi >0,x, >0,xy >0. 


min 


min ~ 3x) +xa -x3 
(2) (st. x + + <0, 
x) +2x, +x: =0, 


7. 设 /:R" 一 RR 为 可 微 函 数 ,证 明 问 题 


Es f(r); 
sl. x>0 
的 K-T 条 件 是 
人 全 = 0， 
VEz) >=0. 
并 说 明 这 个 条 件 的 几何 意义 . 


8. 设 ceR" 为 非 零 向 量 ,求解 不 等 式 约束 最 优化 问题 
max cx; 
{ 1 


9. 设 a >0, 求 解约 束 最 优化 问题 


st [l=a, 
pa 
0 = 1,2,,n. 
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10. 设 QeR' 为 正定 矩阵 ,4 e R" ”为 行 满 秩 矩 阵 , 试 求 问题 
a 
st. Ar=b, 
x=0 
的 K-T 点 ,并 问 它 是 否 为 全 局 最 优 解 ? 
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第 四 章 ”线性 规划 


线性 规划 在 数学 规划 中 占有 重要 的 地 位 ,这 不 仅 因为 它 相 对 地 简单 ,在 理论 
和 算法 上 都 比较 成 熟 , 还 因为 它 本 身 在 实际 问题 中 有 着 广泛 的 应 用 ,并 且 能 为 求 


解 某 些 非 线性 规划 问题 所 引证 
本 章 介绍 线性 规划 的 基本 理论 .单纯 形 法 ,对偶 理论 和 对 侦 单纯 形 法 
4.1 线性 规划 的 基本 理论 


线性 规划 问题 就 是 一 个 线性 函数 在 线性 等 式 或 不 等 式 约束 条 件 下 的 极 值 问 


题 , 其 数学 模型 的 一 般 形式 ( general form ) 为 


min/inax D6 
Bt 信 a < 5b.( 或 > 6,, 或 = b) ,i = 1,2,,m. 
为 了 便于 讨论 线性 规划 问题 的 一 般 解 法 , 常 将 线性 规划 问题 用 统一 的 形式 


表示 为 
4.1.1 
1 ,2，…m， 。 


= bi = 


St. Da 
1 


入 
x 0 =1,2,.,n, 


式 (4. 1.1) 称 为 线性 规划 模型 的 标准 形式 ( standard form) ,并 简 记 为 (LP). 不 难 
知道 ,这 种 标准 形式 是 不 失 一 般 性 的 ,因为 任何 一 个 线性 规划 问题 都 能 化 为 标准 


形式 . 
利用 向 基 和 矩阵 的 记号 ,可 以 把 (LP) 写成 如 下 的 形式 
min cx; 
st Axr=b, (LP) 
r=0, 


人 


其 中 


和 a b, an an a 

bE C: aa G2 G2 
rz=| lec=|”|5=| |,4= 

和 cn 0 Gm Qn am 


矩阵 4 称 为 约束 矩阵 ( constraint matrix) ;Ax =b 称 为 约束 方程 组 (system of 
constraint equations) ;x=0 称 为 非 负 约束 (nonnegative constraint) . 

为 了 方便 , 除 特别 说 明 外 ,我 们 总 是 假定 :在 (LP) 中 ,nm>=m>=1;4 是 行 满 秩 
的 , 即 rank 4 =m. 

定义 4.1.1 在 (LP) 中 ,满足 约束 方程 组 及 非 负 约 束 的 向 量 x 称 为 可 行 解 
(feasible solution ) 或 可 行 点 (feasible point) ;所 有 可 行 解 的 全 体 称 为 可 行 解 集 
(feasible solutions set) 或 可 行 域 (feasible region) , 记 作 天 , 即 

K= {x|Ax = b,xr>0}; 

使 目标 函数 在 K 上 取 到 最 小 值 的 可 行 解 称 为 最 优 解 ( optimal solution) ;最 优 解 对 
应 的 目标 函数 值 称 为 最 优 值 (optimal value). 

在 第 二 章 2.2 节 中 ,我 们 从 几何 理论 和 直观 上 考察 了 (LP) 的 可 行 域 K, 给 出 
了 的 表示 定理 . 为 了 求解 (LP) 的 实际 需要 ,还 必须 引进 一 些 有 关 的 代数 概念 . 

定义 4.1.2 在 (LP) 中 ,约束 矩阵 4 的 任意 一 个 m 阶 满 秩 子 方 阵 B 称 为 基 
(basis) ;B 中 mm 个 线性 无 关 的 列 向 量 称 为 基 向 量 ( basic vectors) ,x 中 与 B 的 列 
对 应 的 分 量 称 为 关于 B 的 基 变 量 (basic variables) ,其 余 的 变量 称 为 关于 B 的 非 
基 变 量 ( nonbasic variables). 


由 于 rank A =m, 因 此 ,在 (LP) 中 总 存在 基 , 并 且 基 的 个 数 不 超 过 | ) 


n 
m 
任 取 (LP) 的 一 个 基 
B = (pi Pa，…Pi)， 
此 时 关于 基 B 的 所 有 基 变 量 构 成 的 向 量 记 为 
= 
若 令 关于 B 的 非 基 变量 都 取 0, 则 约束 方程 4x =b 变 为 
Brs = b. (4.1.2) 
由 于 B 是 满 秩 方 阵 , 因 此 (4.1.2) 式 有 惟一 的 解 
xs = Bb. 
记 妇 -2 = (元 ,去 ，, 天 ) , 则 由 
th = Bk = 1,2，…m， 
% = 0, Vi e112 nl Nh 
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所 构成 的 n 维 向 量 是 Ax = 的 一 个 解 , 称 之 为 (LP) 的 关于 B 的 基本 解 (basic 
solution ) . 
基本 解 满足 约束 方程 组 ,但 不 一 定 满足 非 负 约束 ,所 以 不 一 定 是 可 行 解 . 若 
B "b>0, 即 基本 解 * 也 是 可 行 解 , 则 称 为 (LP) 的 关于 基 B 的 基本 可 行 解 
(basic feasible soloution ) , 相应 的 基 B 称 为 (LP) 的 可 行 基 ( feasible basis); 当 
B'b >0 时 , 称 此 基本 可 行 解 地 是 非 退 化 的 (nondegenerate) ,否则 , 称 之 为 退化 
的 (degenerate). 若 一 个 (LP) 的 所 有 基本 可 行 解 都 是 非 退化 的 , 则 称 该 (LP) 是 非 
退化 的 ,否则 , 称 它 是 退化 的 . 
例 4.1.1 求 下 面 线性 规划 问题 的 所 有 基本 可 行 解 
min 4x -4x,; 
Ss.t. XI — X22 + Xs = 4， 
(4.1.3) 
—% +%2 +% = 2, 
%) 0, = 1,2,3,4. 
解 问题 (4.1.3) 的 约束 矩阵 的 4 个 列 向 量 依次 为 


1 -1 1 0 
m= [de [de = [le = 
不 难得 到 问题 (4. 1. 3) 的 全 部 基 
B, = (p1,p3),B, = (p1,p4),B, = (PP;)， 
B, = (p;,p1) ,Bs = (ps,p4)- 
对 于 B, ,x, 和 x 为 基 变 量 ,x, 和 x 为 非 基 变 量 . 令 x, =x, =0, 有 
{ 2+2 = 4, 
得 到 关于 B, 的 基本 解 x, = ( -2,0,6,0)", 它 不 是 可 行 解 . 
对 于 B,,x, 和 x。 为 基 变 量 ,x, 和 x, 为 非 基 变量 . 令 x, =x, =0, 有 


Wy 要 ,全 


得 到 关于 B, 的 基本 解 x， = (4,0,0,6)", 它 是 一 个 非 退 化 的 基本 可 行 解 . 

同 理 ,可 求 得 关于 B,,B, ,Bs 的 基本 解 分 别 为 

x = (0,2,6,0)" ,x, = (0, - 4,0,6)",x, = (0,0,4,2)". 

显然 ,zx 和 xs 均 是 非 退化 的 基本 可 行 解 ,而 x。 不 是 可 行 解 . 因此 ,问题 (4. 1.3) 
的 所 有 基本 可 行 解 为 za ,xs,xs. 此 外 ,因为 问题 (4.1.3) 的 所 有 基本 可 行 解 都 是 
非 退 化 的 ,所 以 问题 (4.1.3) 是 非 退 化 的 . 0 

下 面 的 定理 给 出 了 判别 一 个 可 行 解 是 否 为 基本 可 行 解 的 一 个 准则 . 

定理 4.1.1 设 为 (LP) 的 可 行 解 , 则 五 为 (LP) 的 基本 可 行 解 的 充 要 条 件 
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是 它 的 非 零 分 量 所 对 应 的 列 向 量 线性 无 关 . 

证 明 不 妨 设 的 前 7 个 分 量 为 正 分 量 , 即 

下 = 0 0) > 0(j = 1,2,..…,7). 

车 是 基本 可 行 解 , 则 取 正 值 的 变量 x, ,x,,… ,x, 必定 是 基 变 量 , 而 这 些 基 
变量 对 应 的 列 向 量 p, ,P:,…,P, 是 基 向 量 , 故 必定 线性 无 关 . 

反之 ,车 pi,p,,…,p, 线性 无 关 , 则 必 有 0<r<sm, 当 r=m 时 ,B = (p,， 
P:，,…,p,) 就 是 一 个 基 ; 当 rr<m 时 ,一 定 可 以 从 约束 和 矩阵 4 的 后 n -7 个 列 向 基 
中 选 出 m -7 个 ,不 妨 设 为 p,,,,p,,，,…,p。, 使 

B = (pi ,P,P Pa) 

成 为 一 个 基 , 由 于 大 是 可 行 解 ,因此 


Tip, =5, 
从 而 必 有 | 
由 此 可 知 主 是 关于 的 基本 可 行 解 0 


由 定理 4.1.1 和 定理 2. 2.2, 立 即 得 到 

定理 4.1.2 是 (LP) 的 基本 可 行 解 的 充 要 条 件 是 为 (LP) 的 可 行 域 的 极 
点 . 0 

需要 指出 的 是 ,一 个 基本 可 行 解 对 应 着 惟一 的 一 个 极点 ,而 一 个 极点 可 能 对 
应 着 几 个 不 同 的 基本 可 行 解 . 这 就 是 说 ,(LP) 的 基本 可 行 解 与 可 行 域 K 的 极点 
不 是 一 一 对 应 的 . 

例 4.1.2 求 下 面 线性 规划 问题 的 可 行 域 的 极点 


min xi xs 
8.t. % 十 2x 十 到 三 2， 
< i (4.1.4) 
x + x = 2, 


x 0, = 1,2,3,4. 
解 ”因为 问题 (4. 1.4) 的 约束 矩阵 的 4 个 列 向 量 依次 为 


1 2 1 0 
p= [] = [ol = [or = []; 

不 难得 知 问题 (4. 1.4) 的 基 的 全 部 为 

B, = (pi,p),B, = (pi,p3),B, = (pi,p), 

B, = (p2,p) ,Bs = (ps,p4). 
所 以 容易 求 得 关于 基 B, ,B,,B,,B,,B, 的 基本 解 分 别 为 

x1 = (2,0,0,0)",x, = (2,0,0,0)",x, = (2,0,0,0)", 
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x = (0,1,0,2)7,xs = (0,0,2,2)". 
显然 ,r ,za ,xs 均 为 退化 的 基本 可 行 解 ,x。 ,xs 是 非 退化 的 基本 可 行 解 . 因此 问题 
(4.1.4) 的 可 行 域 有 三 个 极点 :(2,0,0,0) 7 ,(0,1,0,2) 7,(0,0,2,2) 
由 上 可 知 ,问题 (4.1.4) 是 退化 的 ,并 且 关 于 三 个 不 同 的 基 B, ,B,,B, 的 基 


本 可 行 解 x ,x ,x, 对 应 着 同一 个 极点 (2,0,0,0) 0 
根据 定理 2. 2. 1 和 定理 4. 1.2, 显 然 有 
定理 4.1.3 若 (LP) 有 可 行 解 , 则 它 必 有 基本 可 行 解 . 0 


定理 4.1.4 若 (LP) 可 行 域 玉 非 空 有 界 , 则 (LP) 必 存 在 最 优 解 , 且 其 中 至 
少 有 一 个 基本 可 行 解 为 最 优 解 . 


证 明 根据 推论 2.2.6,(LP) 的 任 一 可 行 解 x 都 可 表示 为 (LP) 的 全 部 基本 
可 行 解 x*, ,x,,… ,x 的 凸 组 合 , 即 
4 
x= DAx,Vrek, 


其 中 ,0(i=1,2,…,k)， 立 Ai=1. 
各 
设 x, 是 使 (LP) 中 目标 函数 值 达到 最 小 的 基本 可 行 解 , 即 


he 
则 
4 4 
cr = 》Aicrx > Ac， = crx，VYx ek. 
名 各 
这 表明 ,基本 可 行 解 x, 为 (LP) 的 最 优 解 . 0 
定理 4.1.5 设 (LP) 的 可 行 域 K 无 界 , 则 (LP) 存 在 最 优 解 的 充 要 条 件 是 对 
的 任 一 极 方向 d, 均 有 c"d>0. 
证 明 ”根据 定理 2.2.10,(LP) 的 任 一 可 行 解 x 都 可 写成 


4 
z= DAx+ > pd,, 
和 名 | 
其 中 x, ,x,，…,x, 为 (LP) 的 全 部 基本 可 行 解 ,d,,d,,…,d, 为 天 的 全 部 极 方 
向 , 且 


4 
A 0 =1,2,,k), > A = 1 00= 1,2,.,)). 
所 


于 是 ,(LP) 等 价 于 下 面 以 A;>0(i=1,2,…,k) 和 轴 之 0(j=1,2,… ,1) 为 决策 变 
量 的 线性 规划 问题 
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min A + Tea 


s.t. Bx (4.1.5) 
Ai > 0, = 1,2,.,k 
by 2 0, = 1,2,,L. 
由 于 几 可 以 任意 大 ,因此 车 存在 某 个 d, 使 cd <0, 则 问题 (4.1.5) 的 目标 函数 
无 下 界 , 即 问题 (4. 1.5) 不 存在 最 优 解 ,从 而 (LP) 不 存在 最 优 解 . 
车 对 一 切 j=1,2,…,l, 均 有 ec"d)>0, 设 
clr, = in cx， 
则 
4 4 
= > (ex)A+t Sed er,,Vrek, 
即 知 基本 可 行 解 x, 是 (LP) 的 最 优 解 . 0 
由 定理 4.1.5 及 其 证 明 , 可 以 得 到 
推论 4.1.6 若 (LP) 的 可 行 域 K 无 界 , 且 (LP) 存 在 最 优 解 , 则 至 少 存在 一 
个 基本 可 行 解 为 最 优 解 . 0 
定理 4.1.3、 定 理 4.1.4 和 推论 4.1.6 统称 为 线性 规划 的 基本 定理 . 基本 定 
理 告诉 我 们 ,如 果 (LP) 有 最 优 解 , 则 可 限制 在 基本 可 行 解 ( 即 可 行 域 的 极点 ) 中 
去 寻找 最 优 解 . 
最 后 我 们 给 出 (LP) 的 最 优 解 的 表示 定理 和 (LP) 的 K-T 条 件 . 
定理 4.1.7 设 在 (LP) 的 全 部 基本 可 行 解 x, ,x,,… ,x, 中 ,使 目标 函数 值 最 
小 者 为 ,x ，…,x,; 在 KK 的 全 部 极 方向 di,d,，,…,d, 中 ,满足 crd =0 者 为 dd， ， 
4d,，"… dj. 若 (LP) 存 在 最 优 解 , 则 x 为 (LP) 的 最 优 解 的 充 要 条 件 是 存在 A; >0 
(p=1,2,.,5), > A = 1 0(9=1,2,……,0) ,使 
X= i + 六 md， (4.1.6) 
证 明 因为 (LP) 存 在 最 优 解 ,所 以 由 定理 4.1.4 和 推论 4.1.6 及 其 证 明 
知 ,基本 可 行 解 x, (p =1,2,…,s) 是 (LP) 的 最 优 解 . 
设 x 具有 (4.1.6) 式 的 形式 , 则 由 推论 2.2.6 和 定理 2.2.10 知 ,x 为 (LP) 
的 可 行 解 ,从 而 由 (4. 1.6) 式 知 


T 
cx = DAcx,+ 了 ed = el， 
i 
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因此 ,x 为 (LP) 的 最 优 解 . 
反之 , 设 x 为 (LP) 的 任 一 最 优 解 , 则 x 为 可 行 解 ,于 是 由 推论 2.2.6 和 定理 


4 
2.2.10 知 ,存在 A;>0(i=1,2,…,k)，》 Ai=lWw>00=1,2,…,D), 使 


t= DAx+ pd (4.1.7) 

根据 定理 4.1.5, 有 
cd >0, = 1,2,.,l, (4.1.8) 

且 由 xu 为 最 优 解 知 
Cx eri = 1,2,… 尖 (4.1.9) 


从 而 由 (4.1.8) 和 (4.1.9) 两 式 容易 用 反 证 法 证 明 : 若 (4.1.7) 式 中 某 个 A, >0， 
则 x; 必 为 (LP) 的 最 优 解 ; 若 (4. 1.7) 式 中 某 个 上 >0, 则 必 有 cdi =0. 由 此 知 ， 
最 优 解 x 必 具 有 (4. 1.6) 式 的 形式 . 0 

这 个 定理 表明 ,车 (LP) 有 两 个 最 优 解 , 则 它 必 有 无 穷 多 个 最 优 解 . 因此 (LP) 
的 解 有 四 种 可 能 : 

(1) (LP) 有 惟一 最 优 解 (此 时 ,crx 的 最 优 值 恰 在 K 的 一 个 极点 上 达到 ) ; 

(2) (LP) 有 无 穷 多 个 最 优 解 (此 时 ,ce"x 的 最 优 值 在 K 的 一 条 棱 上 达到 ) ; 

(3) (LP) 有 可 行 解 ,但 无 最 优 解 (此 时 ,K 无界 且 cx 在 K 上 无 下 界 ) ; 

(4) (LP) 无 可 行 解 . 

定理 4.1.8 设 为 (LP) 的 可 行 解 , 则 为 (LP) 的 最 优 解 的 充 要 条 件 是 存 
在 ye R" ,使 得 

[> < ce， 
(ce -A'y)'x = 0. 

证 明 充分 性 . 设 三 为 (LP) 的 可 行 解 , 且 存 在 ?e R" ,使 得 (4.1.10) 式 成 

立 , 则 对 于 (LP) 的 任 一 可 行 解 x, 有 


(4.1.10) 


这 说 明 对 为 (LP) 的 最 优 解 . 
必要 性 . 设 是 (LP) 的 最 优 解 ,不 妨 设 多 >0(j=1,2,… ,kk) ,zi = 二 
=2 =0. 由 此 可 知 关系 式 组 
Au 三 0， 
es (4.1.11) 
w 0 =k+1,k+2,.,n), 
cu<0 
无 解 ,其 中 & = (uw, ,us，…,u,)". 这 是 因为 ,车 不 然 , 可 取 充 分 小 的 和 >0, 使 得 
xX+Au>0, 且 
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A(K+Au) = AT + AAu = 五， 
即 +Au 为 (LP) 的 可 行 解 , 但 是 
Cc'(F+Au) = CF+Acm < cc， 
此 与 是 (LP) 的 最 优 解 相 矛 盾 . 
车 记 
A=(A, -4 -es = ea, -0.)", 
这 里 e 是 第 j 个 分 量 为 1 其 余 分 量 为 0 的 nn 维 向 量 ,j =k+1,k+2,…,n, 则 关系 
式 组 (4. 1. 11) 无 解 等 价 于 关系 式 组 
Au<0,-cu>0 
无 解 ,根据 Farkas 引 理 ,这 又 等 价 于 关系 式 组 
A'v=-c,v>0 
有 人 解 . 青 记 v= (vi ,0461504,2,… ,0,) ,其 中 必 ER",v, eR",veR(j=k+1, 
k+2,…,n) ,于 是 有 v0,v,>0,v>0(j=k+1,k+2,…,n), 且 
4T(a -DH) - (0,0, ,0 v2 0) = 一 ce， 
令 y= 了 区 -ui, 则 
ce -A'y = (0,0,. ,0 V2 0, ) 7 
由 于 >0, 名 =0,j=k+1,k+2,…,n, 因 此 (4.1.10) 式 成 立 . 0 
与 3.3 节 和 3.4 节 一 样 , 称 (4.1.10) 式 为 (LP) 的 K-T 条 件 . 


4.2 单纯 形 法 


在 4. 1 节 我 们 已 经 指出 :求解 (LP) ,只 需 在 基本 可 行 解 中 搜索 (如 果 (LP) 
存在 最 优 解 的 话 ). 然而 求 出 并 比较 所 有 的 基本 可 行 解 的 枚 举 方法 通常 是 不 实 


用 的 ,因为 尽管 基本 可 行 解 的 个 数 不 会 超过 | )" 得 当 n 较 大 时 , ”将 是 一 个 


n 
m 

非常 大 的 数 ! 

Dantzig 在 1947 年 提出 的 单纯 形 法 (simplex method ) 是 一 种 行 之 有 效 的 方 
法 . 它 的 基本 思想 是 :从 一 个 基本 可 行 解 出 发 , 求 出 使 目标 函数 值 下 降 的 另 一 个 
基本 可 行 解 ; 通 过 不 断 改进 基本 可 行 解 ,力图 找 出 使 目标 函数 值 达 到 最 小 的 基本 
可 行 解 . 为 实现 这 种 基本 思想 ,我 们 需要 解决 下 面 三 个 问题 : 

(1) 求 (LP) 的 初始 基本 可 行 解 的 方法 ; 

(2) 判别 一 个 基本 可 行 解 是 否 为 最 优 解 的 准则 ; 

(3) 从 一 个 基本 可 行 解 转换 到 使 目标 函数 值 下 降 的 另 一 个 基本 可 行 解 
的 方法 . 

下 面 我 们 分 别 来 讨论 这 些 问 题 . 
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4.2.1 最 优 性 条 件 


设 主 是 (LP) 的 一 个 基本 可 行 解 ,为 了 叙述 上 的 方便 , 先 设 对 应 的 基 为 
B = (PP:，…P。)， 
从 而 x, ,x,，,… ,x。 为 基 变 量 ,x。,, ,x。,，，… ,x, 为 非 基 变量 . 记 
N= (PP-a，…P.)， 


Ka = (X15X20°n a) 
Ky = (ansras2s zs) 
于 是 
Xp Ce 
4 0 [je [0], 
即 知 Ax =b 等 价 于 
Bxs + Nxnw = 
由 此 解 得 
xs =B'b-B'Nxe,, (4.2.1) 
这 是 用 非 基 变量 表示 基 变 量 的 公式 . 
在 (4.2.1) 式 中 , 令 zw =0, 即 知 xs = 她, 从 而 得 基本 解 
Bb 
=| 5 J 


将 (4.2.1) 式 代入 目标 函数 ,有 
cTz = Clxs + Cx 
= cI(B"'b -BNx,) + cwxy 
= cIB'b - (ciB-N - er)xn, 
即 得 用 非 基 变量 表示 目标 函数 的 公式 : 
f= eIB'b- (csB'N -er)xn. 
以 上 推导 表明 ,对 于 给 定 的 一 个 基 B,(LP) 可 化 为 如 下 的 等 价 形式 : 
min f= clB'b- (ciB-N -er ry; 
s.t. xs+B'Nr, = B"'b, (4.2.2) 
x 0. 
称 (4.2.2) 式 为 (LP) 关 于 基 B( 或 基本 可 行 解 ) 的 典 式 (canonical form). 
如 果 到 对 应 的 基 B 为 一 般 形式 , 即 
B = (Pi ,Pa ,Pi ), 
则 通过 类 似 的 推导 ,可 得 关于 一 般 基 B 的 典 式 仍 具有 (4.2.2) 式 的 形式 . 只 是 此 
时 ,za = (%, ,*，…,%.) xn 为 非 基 变量 构成 的 n-m 维 向 量 ;N 是 非 基 变量 对 
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应 的 列 向 量 构成 的 mx (n -m) 和 矩阵 ;cs = (ci ,ci,，…,6,)" ,cw 为 目标 函数 中 非 
基 变 量 的 系数 构成 的 n-m 维 向量 . 
下 面 把 关于 一 般 基 B 的 典 式 (4. 2. 2) 用 代数 式 来 表示 . 
记 R=11,2,… ,ni \ 志 h, 访 ,…,j。| , 它 表示 非 基 变量 的 指标 集 ,并 令 
bo by ba Ob 


六 
bo bi Bie 2 hs 
m= csB -Pi -cvVieR, 

f= cB'b, 


则 (4.2.2) 式 等 价 于 
min f=f- Ds 


St st bx = basi = 1,2,.,m, (4.2.3) 


br 
0 = 1,2 ,on 


记 
m= (cB"'A -c7)7， 
则 基 变 量 对 应 的 部 分 
me = (csB"B -cs)" =0; 
而 非 基 变量 对 应 的 部 分 


mw = (cIB'N -cy)7， 
它 是 由 前 面 所 定义 的 (je R) 构 成 的 向 量 . 
定理 4.2.1 设 是 (LP) 的 关于 B 的 基本 可 行 解 , 若 my<0, 则 是 (LP) 
的 最 优 解 ;若是 (LP) 的 非 退 化 的 最 优 解 , 则 mv <0. 
证 明 设 mw<0, 则 由 (4.2.2) 式 知 ,对 一 切 xeK, 有 
c'x= cB'b -(cIB-N -cn)zw 


> ciB"'b = ci, 


所 以 是 (LP) 的 最 优 解 . 
设 记 是 (LP) 的 非 退 化 的 最 优 解 , 则 由 定理 4.1.8 知 ,x 满足 K-T 条 件 
{ -A'y>=0, 
(ec-A'y)'s =0, 
从 而 
cv-N'y>0, (4.2.4) 
(cs - B'y)'xs =0. (4.2.5) 


.91 . 


注意 到 fa =B -2 >0, 所 以 由 (4.2.5) 式 有 
cs -B'y = 0. 
即 得 y=(B') "cs, 代 入 (4.2.4) 式 得 
cn -N"' (B')'e, > 0. 
因此 mw= (cDB'N-c%,)"<0. 0 
由 此 ,我 们 把 在 最 优 性 检验 中 起 决定 作用 的 系数 mi 称 为 变量 % 的 检验 数 
(criterion ) . 


定理 4.2.2 设 B 是 (LP) 的 一 个 基 , 若 关于 BB 的 典 式 (4.2.3) 中 存在 reR， 
使 


by, < 0 = 1,2,,m, (4.2.6) 
则 存在 可 行 域 K 的 一 个 极 方向 d, 使 crd = -下 '- 
证 明 令 4=(d,d…,d) 如 下 : 


-b,j =j(i=1,2,,m), 
“| i (4.2.7) 
0, jeR\irl, 
则 d=0,dz0, 且 由 
如 
p, = B(B-P) = Bl |= Sob,p, (4.2.8) 
1 Re 
b., 


有 

Ad = Sap, Ey Sp, =0. 
从 而 由 定理 2.2.7 知 ,4 为 的 一 个 方向 . 要 证 ,4 为 的 一 个 极 方向 ,根据 引 理 
2.2.8, 只 要 证 了 = -5 4 为 


K, = {y|Ay =0,ey =1,y>0| 
的 一 个 极点 ,容易 知道 ,向 量 组 


ef 7 2 

a = 人]， Pj. [rr] [1] 
线性 无 关 , 假 车 它们 线性 相关 , 则 由 pj ,Ps,… ,Pp;. 线 性 无 关 知 5 ,5 
无 关 , 从 而 5, 可 由 这 m 个 向 量 线性 表 出 , 即 存在 数 a, as，… 


瑟 = > qa. 因此 有 


| 
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p,= Sapis 1 = Sa (4.2.9) 
另 一 方面 ,由 于 pi ,ps，… ,pj. 线 性 无 关 , 因 此 由 (4.2.8) 和 (4.2.9) 两 式 知 5, = 


Qi(i=1,2,…m) ,从 而 六 5。 =1, 此 与 <0(i=1,2,…,m) 相 蔬 盾 . 根据 定理 
2.2.2, 可 知 ,8 是 下 的 极点 . 显然 还 有 


cd=6- Dob,=e,- eBp,=-n,. 0 
fi 


从 定理 4.2.2 的 证 明 可 以 看 出 ,即使 (4.2.6) 式 不 成 立 , (4.2.7) 式 所 定义 
的 d 仍 满足 4d =0,c"d = -mn,, 但 此 时 d 不 是 可 行 域 的 方向 . 
定理 4.2.3 设 为 (LP) 的 基本 可 行 解 , 若 关于 的 典 式 (4.2.3) 中 有 某 个 
检验 数 7,>0(reR), 且 
bs, < 0 = 1,2,,m 


则 (LP) 无 最 优 解 . 
证 明 由 定理 4.2.2 知 , 存 在 可 行 域 K 的 一 个 极 方向 d, 使 crd = -mn, <0. 
根据 定理 4. 1.5,(LP) 无 最 优 解 . 0 


4.2.2 基本 可 行 解 改进 


首先 给 出 基 的 转换 的 一 个 结论 . 
定理 4.2.4 设 B=(p, ,ps，…,pj,) 是 (LP) 的 一 个 基 , 且 reR, 则 
B = (py, ,pi PsP, sDi,) 
为 (LP) 的 一 个 基 的 充 要 条 件 是 在 关于 B 的 典 式 (4.2.3) 中 b,, #0. 
证 明 若 b,z0, 则 由 (4.2.8) 式 知 
Pp = iP. + 5 (- se)p,, 


这 说 明 B 的 第 s 列 p, 可 由 如 的 各 列 线 性 表 出 ,又 显然 B 的 其 他 列 也 都 可 由 训 的 
各 列 线性 表 出 ,所 以 
m= rankB<rankBs<m, 

因此 rank B=m, 即 知 唐 为 (LP) 的 一 个 基 . 

若 b, =0, 则 由 (4.2.8) 式 知 

p+ > (-b,)p; =0, 

即 双 的 列 向 量 组 是 线性 相关 的 ,从 而 不 是 (LP) 的 基 . 0 

现在 考虑 定理 4. 2. 1 和 定理 4. 2. 3 均 不 满足 的 情形 . 这 时 ,我 们 有 

定理 4.2.5 设 为 (LP) 的 非 退化 的 基本 可 行 解 , 若 关 于 的 典 式 (4.2.3) 
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中 有 mr, >0(reR) , 且 至少 有 一 个 如 >0(1<i<m), 则 必 存 在 另 一 个 基本 可 行 
解 工 ,使 c 袜 <c 苑 . 


证 明 取 
=E+0d, (4.2.10) 
其 中 4 由 (4.2.7) 式 所 定义 , 且 
0 = mi 人 [和 b> 0 e102] (4.2.11) 


根据 定理 4. 2.2 后 面 的 说 明 有 4d =0, 即 知 
Ax = A +0Ad =b. 

而 是 非 退 化 的 , 即 bo >0(i=1,2,…,m) ,因此 9>0. 于 是 , 当 b,<0 时， 
bo - 0b, > bn > 0; 

当 b, >0 时， 


bo - Ob, 3 bp -= a = 0. 


从 而 由 的 定义 知名 宇 0(j=1,2,…,n) , 故 天 为 (LP) 的 可 行 解 . 
又 由 (4.2.11) 式 知 亏 =0, 即 知 z 的 非 零 分 量 至 多 为 
CA 
且 由 4b,, >0 及 定理 4.2.4 知 
B = (pi ,sp PsP, Pp) ) 
为 (LP) 的 一 个 基 , 所 以 根据 定理 4.1.1,3 为 (LP) 的 基本 可 行 解 . 并 且 由 0 >0， 
T, >0 及 定理 4.2.2 后 面 的 说 明 可 知 


cE = ct+bcrd = cr- On, < cr 0 


on Nias 


4.2.3 单纯 形 法 的 算法 步 怠 


在 定理 4.2.5 的 证 明 中 ,实际 上 给 出 了 改进 基本 可 行 解 的 一 个 方法 :把 对 应 
于 正 检验 数 mr, 的 非 基 变 量 x, 变 成 基 变 量 , 称 它 为 进 基 变 量 (incoming variable)， 
而 从 原 基 变 量 中 按 (4.2. 11) 式 确定 zx 变 为 非 基 变 量 , 称 它 为 离 基 变量 ( outgoing 
variable ) . 

现在 来 讨论 如 何 从 关于 基 B= (pj ,ps，…,pj. ) 的 典 式 (4.2.3) 式 导出 关于 
新 基 访 = (p，…,p, ,P,P;.，，… ,Di.) 的 典 式 . 为 此 将 典 式 (4. 2. 3) 中 的 系数 写 
成 表 4. 2. 1 的 表格 形式 . 
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表 4.2.1 单纯 形 表 T(B) 


x 加 x 
站 加 b, bi, bio 
所 加 b, b bo 
be bw ds i bo 
f TT a T, pe Tr, 了 


这 个 表 称 为 (LP) 关 于 基 B 的 单纯 形 表 ( simplex tabuleau) , 记 为 7(B8). 于 是 
只 要 说 明 怎 样 从 原单 纯 形 表 7(B) 导 出 新 的 单纯 形 表 7( 训 ) 即 可 . 按照 解 线性 方 
程 组 的 Gauss - Jordan 消去 法 思想 ,要 使 x, 变 成 基 变量 ,必须 把 7T(B) 中 *, 所 在 
的 列 变 成 单位 向 量 . 因此 可 得 单纯 形 表 的 变换 规则 如 下 : 

(1) 把 7(B) 中 第 ; 行 同 除 以 5b, 作 为 新 的 第 : 行 (这 样 把 x, 所 在 的 列 中 第 s 
个 元 素 变 成 1) , 即 


(5 行 ) 二 让 (: 行 ); 


(2) 把 表 中 新 的 第 * 行 乘 以 ( -5b,) 加 到 第 i 行 (izs) ,得 到 新 的 第 i 行 (把 

*, 所 在 的 列 中 第 i 个 元 素 变 成 0) , 即 
(i 行 ) := (i 行 ) - b,(s 行 ), Vi e 11,2,,m}\|s}; 

(3) 把 表 中 新 的 第 * 行 乘 以 ( -7,) 加 到 第 m +1 行 得 到 新 的 第 m+1 行 (把 

*, 的 检验 数 变 成 0) , 即 
(m+1 行 ) := (m +1 行 ) - 7,(s 行 ). 

上 述 变换 称 为 |s,r| 旋 转变 换 ( pivot transformation ) , 元素 b, 称 为 主 元 ( pivot 
element) , 主 元 所 在 的 行 和 列 分 别称 为 主 元 行 (pivot row) 和 主 元 列 (pivot 
column ). 

算法 4 一 1( 单纯 形 法 ) 

Step 1 对 于 一 个 已 知 的 可 行 基 B= (pj ,p,,，,… ,pj,) , 求 出 关于 B 的 单纯 形 
表 7(B). 

Step 2 ”如果 所 有 70(j =1,2,…,n), 则 关于 B 的 基本 可 行 解 * 便 是 
(LP) 的 最 优 解 ,f 是 最 优 值 ,此 时 的 7(B) 称 为 最 优 单纯 形 表 , 算 法 结束 ;否则 , 转 
Step 3. 

Step 3 ”如果 有 "5, >0, 使 T(B) 中 x, 所 在 的 列 

(ob < 0, 
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则 (LP) 无 最 优 解 ,算法 终止 ;否则 , 转 Step 4. 
Step 4 令 r 为 最 大 正 检验 数 中 指标 最 小 者 , 即 
r= min 和 | wm = max Ti， (4.2.12) 
取 x, 为 进 基 变量 ; 令 j, 为 比值 最 小 的 行 中 指标 最 小 者 , 即 
mi 人 | 中 = min 计 ， (4.2.13) 
取 x 为 离 基 变 量 . 


Step 5 以久 为 主 元 进行 1s,r} 旋 转变 换 , 得 到 新 的 单纯 形 表 7( 互 ) ,以 避 取 
代 B, 返 回 Step 2. 


从 Step 2 到 Step 5 的 每 一 次 循环 称 为 一 次 单纯 形 迭 代 ( simplex iteration ). 
式 (4.2.12) 和 (4.2. 13 ) 分 别称 为 Dantzig 进 基 规则 (incoming rule) 和 离 基 
规则 (outgoing rule) ,统称 为 Dantzig 规则 . 
例 4.2.1 求解 线性 规则 问题 
min /=-2x -zi 
8.t. % +x +% =5, 
-xi+%+x =0, 
6x, + 2x, + xs = 21, 
%) 0, = 1,2,3,4,5. 
解 ” 问 题 有 一 个 明显 的 可 行 基 B =(p, ,ps,ps) ,对 应 的 初始 基本 可 行 解 = 
(0,0,5,0,21)", 相 应 的 单纯 形 表 为 表 4. 2. 2. 


囊 4.2.2 初始 单纯 形 表 


* x x 总 
加 1 1 1 0 0 5 
= 1 0 1 0 0 
xs 和 2 0 0 1 21 
了 这 1 0 0 0 0 


因为 mr =2>0,m,=1>0, 所 以 取 x, 为 进 基 变量 . 而 
.15 211_ 21 by 
9 = min 代 ,和 } -5 = 下 
故 取 x 为 离 基 变量 ,b,, =6 为 主 元 (在 主 元 右上 角 标 以 “* "号 ) ,进行 13,1} 旋 
转变 换 ,得 单纯 形 表 4. 2. 3. 
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表 4.2.3 第 一 轮 选 代 后 的 单纯 形 表 


各 的 x 和 5 

和 0 2743 1 0 -1/6 3/2 
x 0 4/3 0 1 1/6 772 
1 时 1/3 0 0 1/6 772 
0 173 0 0 -1/3 -7 


同 理 , 再 进行 11,21 旋 转变 换 ,得 单纯 形 表 4. 2. 4. 


表 4.2.4 第 二 轮 和 迭代 后 的 最 优 单纯 形 表 


到 2 xy x Xs 

2 0 1 3/2 0 -1/4 9/4 
i 0 0 六 1 172 172 

1 时 0 -1/2 0 1/4 11/4 
了 0 0 -2 0 -1/4 -31/4 


此 时 所 有 检验 数 非 正 ,得 最 优 解 
119 i 
至 = (0) » 
最 优 解 值 为 -31/4. 0 
4.2.4 退化 情形 的 处 理 


对 于 非 退 化 的 (LP) ,使 用 单纯 形 法 经 有 限 次 迭代 , 必 能 求 得 (LP) 的 最 优 解 
或 判定 (LP) 无 最 优 解 ,这 是 因为 由 定理 4.2.5 知 ,每 次 迭代 都 使 目标 函数 值 严 
格 单调 减少 , 即 知 出 现 过 的 基本 可 行 解 不 会 再 次 出 现 ,而 基本 可 行 解 的 个 数 有 
限 . 对 于 退化 的 (LP) ,可 以 照常 使 用 单纯 形 法 ,只 要 在 迭代 过 程 中 基 不 重复 出 现 
(基本 可 行 解 可 能 重复 出 现 ) ,由 于 基 的 个 数 有 限 , 因 此 经 有 限 次 迭代 也 能 得 出 
最 优 解 或 判定 (LP) 无 最 优 解 . 但 如 果 基 在 迭代 过 程 中 重复 出 现 , 则 会 使 以 后 的 
迭代 成 为 前 面 迭代 的 重复 ,从 而 迭代 会 无 限 循环 下 去 ,算法 无 法 结束 . 这 种 现象 
称 为 基 的 循环 ( basic cycling). 1951 年 , Hoffman 首先 构造 出 一 个 出 现 基 循 环 的 
例子 . 1955 年 ,Beale 构造 了 一 个 更 简单 的 例子 如 下 : 
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min f=- 3 + 20xs 一 ss + 6x7; 


A + 0 


2 + - l2x, 2 +3x = 0， 


2 
zs+xs 二 1， 
% 0 = 1,2,…,7. 

对 Beale 例子 用 单纯 形 法 迭代 6 次 , 基 发 生 循环 (请 读者 自己 验证 ) : 

(PP ,P;) 一 (PPa,P) 一 (pssps Pp3) 一 (Pe,Ppi,P:) 一 
(pop1sp3) 一 (Pi ,PP ) 一 ( 书 Pa,P:). 

为 了 避免 基 的 循环 ,1952 年 ,Charnes 提出 了 摄 动 法 ( perturbation method ) ; 
1954 年 ,Dantzig ,Orden 和 Wolfe 提出 了 字典 序 规则 (lexicographic rule) ;但 是 最 
简便 的 还 是 Bland 在 1977 年 提出 的 如 下 的 一 个 规则 , 称 之 为 Bland 规则 、 

(1) 进 基 规 则 :由 


r= mintj|lm > 0| 


确定 x, 为 进 基 变 量 ; 
(2) 离 基 规 则 ( 同 Dantzig 离 基 规则 ) :由 
三 | 从 = 于 


确定 % 为 离 基 变量 . 
利用 Bland 规则 求解 Beale 例子 ,不 会 发 生 基 的 循环 . 读者 可 以 验证 ,经 过 3 
次 单纯 形 和 迭代 ,得 到 最 优 解 和 最 优 解 值 如 下 : 
5 


(2,0,0,1,0,1,0) ,min7 =- 芳 


可 以 证 明 : 任 何 (LP) 按 Bland 规则 选取 进 基 变量 和 离 基 变量 ,不 会 出 现 基 的 
循环 (参见 文献 [51] ). 

从 理论 上 看 ,在 单纯 形 算法 步骤 中 采用 Bland 规则 ,可 以 使 算法 在 有 限 步 结 
束 . 但 具体 计算 表明 ,在 各 种 选 主 元 规则 中 ,Dantzig 规则 的 效果 最 好 , 即 在 求解 
同一 线性 规划 问题 时 ,和 迭代 次 数 最 少 . 在 实际 计算 中 ,退化 是 常 有 的 ,但 发 生 基 的 
循环 却 是 罕见 的 ( Hofftman 和 Beale 的 例子 都 是 人 为 的 ). 因此 ,对 于 线性 规划 问 
题 仍 可 按 Dantzig 规则 进行 单纯 形 迭 代 , 万 一 遇 到 基 的 循环 ,再 改 用 Bland 规则 . 


4.2.5 初始 基本 可 行 解 的 求法 


用 单纯 形 法 解 (LP) 时 ,需要 先 有 一 个 初始 基本 可 行 解 ,如 果 像 例 4.2.1 那 
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样 ,在 约束 和 矩 阵 中 含有 一 个 单位 矩阵 1, 且 b>0, 则 可 取 初 始 可 行 基 为 B=, 即 可 
得 到 一 个 基本 可 行 解 . 但 是 在 一 般 情况 下 ,难以 赁 观察 得 出 初始 可 行 基 , 甚 至 有 
无 可 行 基 都 难以 判定 . 因此 有 必要 给 出 寻找 初始 基本 可 行 解 的 一 般 方 法 . 
仍 考虑 标准 形式 的 线性 规则 问题 (LP) 
min cx; 
st Ar=Bb, 
x 三 0， 
且 不 妨 设 b>=0, 但 并 不 要 求 4 为 行 满 秩 矩 阵 . 
寻找 初始 基本 可 行 解 的 方法 主要 有 两 阶段 法 (twe phase method) 和 大 M 法 
(big M method). 下 面 我 们 只 介绍 两 阶段 法 . 关于 大 M 法 可 参见 文献 [52 ] . 
在 第 一 阶段 先 求解 如 下 的 线性 规划 问题 


(LP1) 
St D ax) + ro = bisi 2 
所 


x 0 =1,2,.,n+m, 
其 中 ,i(i=1,2,…,m) 称 为 人 工 变量 (artificial variables). 因 b>>0, 故 (LP1) 有 
一 个 现成 的 基本 可 行 解 : 

«i = 0 = 12ni; 


ga = bisi = 1,2,°%,m, 


与 之 对 应 的 基 为 单位 矩阵 ,从 而 目标 函数 g 可 改写 为 


人 
于 是 得 到 (LP1 ) 的 一 个 单纯 形 表 如 表 4. 2. 5. 


表 4.2.5 两 阶段 法 初始 单纯 形 表 


由 于 目标 函数 g=>0, 即 它 在 (LP1) 的 可 行 域 上 有 下 界 , 因 此 (LP1) 必 有 最 优 
解 . 于 是 从 单纯 形 表 4. 2. 5 出 发 ,通过 单纯 形 和 迭代 必 可 求 得 (LP1) 的 最 优 解 . 设 


最 优 解 为 ?| ,其 中 证 = (二 各) 下 = (各 二) 对 应 的 基 为 
请 ,分 三 种 情况 讨论 
(1) $0. 此 时 (LP) 无 可 行 解 . 因为 假若 (LP) 存 在 一 个 可 行 解 x, 则 | 为 


(LP1) 的 可 行 解 , 且 对 应 的 目标 函数 g 的 值 为 0, 这 与 min g = 》 和, >0 相 
矛盾 . 

(2) 了 =0 是 人 工 变 量 x,,,(i=1,2,…,m) 都 是 非 基 变量 . 这 时 * 是 (LP) 的 
可 行 解 . 又 因 基 变 量 全 在 x, ,x,,… ,x, 之 中 , 故 对 应 的 基 房 必 为 4 的 子 方 阵 , 所 
以 为 (LP) 的 基本 可 行 解 . 

(3) 乡 =0 且 基 变量 中 含有 人 工 变量 , 设 x,,, 为 基 变 量 , 则 (LP1) 关 于 启 的 单 
纯 形 表 7( 启 ) 中 x。,, 所 在 的 第 * 行 对 应 的 方程 为 

x+ D bxy + D binvixnst = 0， (4.2.14) 

Je [了 4 
这 里 为 *, ,x,，,…,x, 中 非 基 变 量 的 指标 集 ,! 为 人 工 变量 中 非 基 变量 的 指标 集 . 
如 果 (4.2.14) 式 中 所 有 b, =0(JeJ) , 则 有 
x+ Do bx = 0. 

这 说 明 人 工 变量 x,,, 可 由 诸 和 人 工 变 量 x,,i(ie 7) 线 性 表 出 ,从 而 可 知 原 约束 方程 
组 hx =b 中 第 ;个 方程 可 由 另外 一 些 方程 ( 即 人 工 变 量 x,,,(ie7) 对 应 的 那些 
约束 方程 ) 的 适当 线性 组 合 来 表示 ,因此 ,第 :个 约束 方程 是 多 余 的 ,应 当 删 去 ， 
这 相当 于 从 7( 瑟 ) 中 删 去 第 * 行 . 

如 果 (4.2.14) 中 存在 reJ, 使 b, 头 0, 则 由 定理 4.2.4 知 ,以 65, 为 主 元 进行 
1s,rl 旋 转变 换 , 得 到 (LP1) 的 新 的 单纯 形 表 , 它 对 应 的 基本 可 行 解 仍 为 (LP1 ) 的 
最 优 解 ,但 新 的 基 变 量 中 减少 了 一 个 人 工 变量 x,,,. 若 新 的 基 变量 中 还 有 人 工 变 
量 , 再 重复 此 法 ,经 过 有 限 次 , 必 能 化 为 (2) 的 情形 . 

综 上 所 述 ,对 于 不 具有 明显 可 行 基 的 (LP) ,可 先 用 单纯 形 法 解 (LP1) , 解 的 
结果 或 者 说 明 (LP) 无 可 行 解 ,或 者 找到 (LP) 的 一 个 基本 可 行 解 . 然后 再 从 这 个 
基本 可 行 解 开始 应 用 单纯 形 法 求解 (LP) ,这 是 两 阶段 法 的 第 二 阶段 . 由 此 不 难 
写 出 两 阶段 法 的 算法 步骤 ,这 留 给 读者 去 完成 . 

值得 注意 的 是 ,在 第 一 阶段 迭代 过 程 中 ,人 工 变 量 一 旦 离开 基 , 随 之 也 就 失 
去 了 作用 , 故 可 从 单纯 形 表 中 删 去 人 工 变 量 所 在 的 列 . 

例 4.2.2 求解 线性 规划 问题 
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min f=-x, -3x, +x; 
st x +2x +x = 4, 
一 xi +2x, +x + x + xX = 4, 


3x, + 3x) +x = 4， 


x 0, = 1,2，…,5. 


(4.2.15) 


解 ”只 需 引进 两 个 人 工 变量 xs 和 xz, ,相应 的 (LP1) 如 下 : 
min g = Xt+x; 
St x+2x +s +2 =4, 
— Xl +2x + x +X + Xs = 4, 
3s) +35 + H+% 二 4， 
x 0,=1,2,.,7. 
取 初 始 可 行 基 B = (ps ,ps,p;) ,相应 的 单纯 形 表 如 表 4. 2. 6. 
表 4.2.6 例 4.2.2 第 一 阶段 初始 单纯 形 表 
2 x [ xs Xo 加 
有 0 1 2 1 0 1 0 4 
4 -1 2 1 1 1 0 0 4 
0 3 0 2 1 0 0 1 4 
8 3 1 5 2 0 0 0 可。 
这 1 3 -1 0 0 0 0 0 


在 表 4.2.6 中 添加 原 问题 (4. 2. 15 ) 的 目标 函数 了 对 应 的 行 是 为 过 渡 到 第 二 
阶段 作 准 备 . 用 单纯 形 法 进行 迭代 的 过 程 见 表 4. 2. 7 和 表 4. 2.8( 因 人 工 变 量 *， 
离 基 , 故 在 表 中 删 去 x, 所 在 的 列 ). 


表 4.2.7 例 4.2.2 第 一 阶段 迁 代 一 次 后 的 单纯 形 表 


x a zy x Xs Xe 
xe -2 1 0 1/3 0 1 4/3 
x -2 2 0 2/3 ， 1 0 8/3 
x 1 0 1 1/3 0 0 4/3 
-2 I! 0 173 0 0 4/3 
了 2 3 0 173 0 0 4/3 


“0 


表 4.2.8 例 4.2.2 第 一 阶段 选 代 两 次 后 的 最 优 单 纯 形 表 


x 4 x x x 
网 本 | 0 0 0 -WV 1 0 

加 -1 1 0 173 172 0 4/3 

xy 1 0 1 1/3 0 0 473 

g -1 0 0 0 -122 0 0 
了 5 0 0 -2/3 -3/2 0 -8/3 


至 此 得 到 了 (LP1) 的 最 优 解 ,但 是 xs 为 基 变 量 且 b,, 关 0, 于 是 在 表 4.2.8 中 
以 bi 为 主 元 作 旋转 变换 ,得 表 4. 2.9( 同 理 ,在 表 中 删 去 已 经 离 基 的 人 工 变 量 xs 
所 在 的 列 ). 


表 4.2.9 例 4.2.2 第 一 阶段 最 优 单纯 形 表 删 去 人 工 变量 后 的 单纯 形 胡 


x x x x x 
1 0 0 0 172 0 
和 2 0 1 0 173 1 4/3 
x 0 0 1 173 -1/2 4/3 
g 0 0 0 0 0 0 
入 0 0 0 -2/3 -4 -8/3 


因此 第 一 阶段 结束 ,把 表 4.2.9 中 & 行 删除 , 便 得 问题 (4.2.15) 的 初始 单纯 
形 表 : 


表 4.2.10 例 4.2.2 第 二 阶段 初始 单纯 形 表 即 最 优 单纯 形 表 


加 x x 二 
名 1 0 0 0 172 0 
各 0 1 0 1703 1 4/3 
3 0 0 1 173 -1/2 4/3 
/ | 。 0 0 -2/3 -4 -8/3 


因为 表 4. 2. 10 中 的 检验 数 全 部 非 正 ,所 以 得 到 问题 (4. 2. 15 ) 的 最 优 解 和 最 
优 值 分 别 为 
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4.2.6 单纯 形 法 的 几何 解释 

我 们 考虑 在 一 次 单纯 形 迭 代 中 新 旧 基本 可 行 解 之 间 的 几何 特性 . 

定理 4.2.6 设 是 (LP) 关 于 基 B 的 基本 可 行 解 ,对 7(B) 进行 一 次 单纯 
形 选 代 得 到 新 的 基本 可 行 解 , 若 是 非 退 化 的 , 则 与 x 是 (LP) 的 可 行 域 K 的 


相 邻 极点 . 
证 明 设 关 于 B 的 典 式 中 的 约束 方程 组 为 
th = 而- bowsi = 1,2,%,m, (4.2.16) 
并 设 和 迭代 时 , 进 基 变 量 为 <,, 离 基 变量 为 , 则 由 单纯 形 迭 代 规则 可 知 
=F+0d=FE+id, (4.2.17) 


其 中 4d 按 (4.2.7) 式 定义 ,6 按 (4.2.11) 式 定义 . 
因 主 是 非 退 化 的 , 故 9>0, 从 而 ,有 目 d 与 -的 指向 相同 . 所 以 对 任意 
xo ext, 有 
xo=¥X+Bd,0<B<o0. (4.2.18) 
若 存 在 x, ,x, eK, 使 
Xo =ax+(l-a)xr,,0 <a<!, (4.2.19) 
往 证 x, ,zy eI. 
由 名 = 元 =0(jeR\|r|) 和 (4.2.18) 式 知 
xf =0,VieR\tr}, 
从 而 由 (4.2.19) 式 有 
zf = x =0,Vj eR\Ir. 
又 因为 hx, =b,Ax, =b, 所 以 由 (4.2.16) 式 和 4d 的 定义 便 知 
x =+s dr = T+x "qd. 


记 y=%1 /9(k=1,2), 则 由 (4.2.17) 式 有 


x = E+ yi-x) = (1 -yr+Yyr,k =1,2. (4.2.20) 
车 yy >1, 则 
ee i 
由 车 知 此 与 为 极点 相 巴 盾 . 因此 0<y,<1(hk=1,2) ,根据 (4.2.20) 式 ,x,， 
x e 于 . 这 就 证 明了 与 是 (LP) 的 可 行 域 K 的 相 邻 极点 . 0 


根据 定理 4.2.6, 单 纯 形 法 的 几何 意义 就 是 从 (LP) 的 可 行 域 K 的 一 个 极点 
三 出 发 , 沿 多 胞 形 K 的 棱 求 出 与 三 相 邻 并 使 目标 函数 值 下 降 的 另 一 个 极点 ,如 此 
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继续 下 去 ,直至 得 出 最 优 解 或 判定 问题 无 最 优 解 . 

在 非 退 化 的 假设 下 ,因为 n - m 个 非 基 变量 的 每 一 个 都 能 去 蔡 代 给 定 的 基 
本 可 行 解 中 的 一 个 基 变 量 ,所 以 可 行 域 K 中 任何 一 个 极点 都 有 nm 个 极点 与 
它 相 邻 ,而 这 n -m+1 个 极点 正好 构成 (LP) 的 约束 方程 组 解 空间 R"“ 中 的 一 个 
单纯 形 ,这 就 是 把 算法 4 - 1 称 为 单纯 形 法 的 原因 . 


4.3 对 偶 理 论 


随 着 线性 规划 问题 及 其 解法 的 提出 ,人 们 发 现 , 对 于 任何 一 个 线性 规划 问 
题 ,都 伴随 着 另 一 个 线性 规划 问题 ,二 者 之 间 存 在 密切 的 关系 ,因而 常常 把 这 两 
个 问题 放 在 一 起 研究 . 这 就 形成 了 线性 规划 中 重要 而 有 趣 的 对 侦 理 论 . 

定义 4.3.1 设 有 线性 规划 问题 


min cx; 
st Ar>=5, (4.3.1) 
0， 
其 中 
和 6 5 让 二 am 
i E23 二 C2 b 和 2 ,A 种 Ql Q2z Qn 
%, 本 网 Gol Qn2 am 
考虑 另 一 个 线性 规划 问题 
max bYy; 
st. AYys<ce, (4.3.2) 
y=0, 


这 里 》= (yi ,7 ,…,ys) ,我 们 称 问题 (4.3.2) 为 问题 (4.3. 1) 的 对 偶 问 题 ( dual 
problem) ,并 称 问 题 (4. 3. 1 ) 为 原 问题 ( prime problem). 

下 面 用 一 个 实例 来 说 明 对 偶 线 性 规划 问题 的 意义 . 

例 4.3.1( 营 养 问题 ) 某 饲 养 场所 用 的 饲料 由 种 配料 混合 而 成 . 要 求 这 
种 饲料 必须 含有 mm 种 营养 成 分 ,而 且 每 单位 饲料 中 第 i 种 营养 成 分 的 含量 不 能 
低 于 4b.. 已 知 第 i 种 营养 成 分 在 每 单位 第 j 种 配料 中 的 含量 为 a;, 第 j 种 配料 的 
单位 价格 为 c. 问 在 保证 营养 要 求 的 条 件 下 ,应 采用 何 种 配方 才能 使 饲料 的 费用 
最 小 ? 

解 设 x 为 每 单位 饲料 中 第 j 种 配料 的 含量 (j=1,2,…,n), 则 营养 问题 的 
数学 模型 为 
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min Sows 


so 2 4 
0 = 1,2， 和 人 
现在 从 另 一 个 角度 提出 如 下 问题 : 某 饲 料 公司 欲 把 这 m 种 营养 成 分 分 别 制 
成 m 种 营养 丸 出 售 . 为 了 使 饲养 场 能 采用 公司 生产 的 营养 丸 蔡 代 天 然 配料 ,就 
必须 做 到 营养 丸 的 价格 不 超过 与 之 相当 的 天 然 配 料 的 价格 . 公司 面临 的 问题 是 ， 
在 上 述 条 件 的 限制 下 ,如 何 确定 各 种 营养 丸 的 单位 价格 ,才能 使 公司 获 利 最 大 ? 
设 第 i 种 营养 丸 的 单价 为 y,(i=1,2,…,m) , 则 osy, 表示 把 单位 第 j 种 配料 
中 第 i 种 营养 成 分 折合 成 营养 丸 的 代价 ,于 是 这 个 问题 的 数学 模型 为 


St Da < 6 = 1,2,.,n, (4.3:4) 
yi 0 =1,2,,m, 
这 里 问题 (4. 3. 4) 就 是 问题 (4. 3.3 ) 的 对 偶 问题 . 这 说 明 , 原 问 题 和 对 偶 问题 是 
同一 件 事情 的 两 个 不 同 的 侧面 ,它们 之 间 有 着 密切 的 依存 关系 . 0 
定理 4.3.1 对 偶 问题 的 对 偶 是 原 问题 . 
证 明 将 对 偶 问 题 (4. 3. 2) 化 成 与 原 问 题 (4. 3. 1) 相同 的 形式 ， 
min (-b)'y; 
二 (-A)'y>=-e, (4.3.5) 
了 > 0， 
由 定义 4.3.1 知 , 问 题 (4.3.5) 的 对 偶 问 题 为 


max (-c)'x; 
区 


-Axr<-b, (4.3.6) 
r=0, 

而 问题 (4. 3. 6) 等 价 于 问题 (4.3.1). 这 表明 ,问题 (4.3.2) 的 对 偶 问题 为 问题 

Ch ai 0 


因此 ,定义 4.3.1 中 所 确定 的 对 偶 关 系 是 互相 的 , 即 原 问题 与 对 偶 问 题 的 地 
位 是 可 以 相互 转换 的 . 
标准 形式 的 线性 规划 问题 
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min cx; 
a b 
st [_al*>=[.,]; 
x>=0. 


从 而 它 的 对 偶 问题 为 


st. (A',- A')w=<ce, 


w==0. 


广 (b', -bw; 


再 令 w = [7 ] .由 间 题 (4.3.7) 等 人 于 


max b'(w, 一 wa); 
二 A'(w, -ma) 大 ec， 
w, > 0,w, > 0. 
记 y=w, -w,, 由 问题 (4.3.8) ,得 到 (LP) 的 对 偶 问题 如 下 
[ by; 
st. AYy<ce. 


(LP) 


(4.3.7) 


(4.3.8) 


(DP) 


因为 任何 一 个 线性 规划 问题 都 可 化 成 (LP) 的 形式 ,所 以 任 一 线性 规划 问题 


都 有 对 偶 问题 . 
对 于 一 般 的 线性 规划 问题 
min clx, + Cix,; 
St. Aux, +Arx, = b,, 
AM + Ayx, = b,, 


2 0， 


(P) 


其 中 4, 是 m; xn, 矩阵 ,b; 为 m; 维 向 量 ,c) 为 n 维 向 量 ,x; 为 n 维 向 量 ,i=1， 


2 =1,2. 


引入 mm 维 向 量 w>0, 且 令 x = za -xyza >0,xza>0, 则 (P) 可 以 化 为 标 


准 形式 
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; T T 
min cixi + CX 一 Cax2zji 


Bt AT 十 从 aoi 一 及 zzz -w= $b,, 


MF AT 一 上 区 = brs 
X10,x 0,r, >=0,w>= 0. 
由 前 知 , 它 的 对 偶 问 题 为 
max biy, + byy,; 
St. Aly, +Aly, 三 cl， 
Any, + Any, < ca， 
-Any, - 42 < - ca， 
-y, 0. 
这 等 价 于 
max bly, + by,; 
Sst. Aly, +ANy, < ce,, 
Any! + Any, = ca， 
y=0. 
这 表明 ,(P) 的 对 偶 问 题 为 (D). 


下 面 用 表格 形式 给 出 由 原 问题 构造 对 偶 问 题 的 一 般 方 法 . 


表 4.3.1 原 问 题 与 对 偶 问 题 的 对 应 关系 


(D) 


原 问题 min 对 偶 问 题 max 
变 =0 行 < 
约 
量 无 限制 东 = 
行 > 变 >0 
约 
束 = 量 无 限制 


这 里 ,我们 把 约束 条 件 分 为 行 约束 (变量 的 线性 组 合 的 等 式 或 不 等 式 约束 ) 和 变 
量 的 符号 约束 两 部 分 ,而 以 原 问 题 的 行 约束 与 对 偶 问 题 的 变量 一 一 对 应 , 原 问题 


的 变量 与 对 偶 问 题 的 行 约束 一 一 对 应 . 
例 4.3.2 求 如 下 线性 规划 问题 的 对 偶 问题 
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min 3x, +2x, -3xy + 4x4 
st % ~2x, +3xs +4x, &3, 
£2 + 3z3 +4x4 -5, 
2x, - 3x: - Tx, ~ 4x, = 2， 
x > 0,x, < 0. 
解 ” 先 把 上 述 线性 规划 问题 写成 如 下 形式 
min 3x, +2x — 3xy — 4x!; 
st。 —% +2x: - 3x +4 -3, 
xz +3x — 4x!>—5, 
2x, -3x -7Tx + 4x! = 2， 
xi > 0,x!> 0. 
它 的 对 偶 问题 为 
max -3y, -5y, +2y,; 
st -y+2y, <3, 
2y, +y -37 = 2， 
-3y +37 -7y，= -3， 
Ty + 1, 
y1 0,7, > 0. 


下 面 我 们 来 考察 互 为 对 偶 的 线性 规划 问题 之 间 的 内 在 联系 . 
定理 4.3.2 设 [ ] 和 [] 分 别 为 CP) 和 (D) 的 可 行 解 , 则 
bb 了 2 


T 站 T T 
CX + caxa > biy, + bay,. 


证 明 因为 x,>0,y, >0, 并 且 
Ax! + Aux, > b,,Ayx, + Ax, = b,, 


ANy, + Ays < ci,Any, + ALy, = ci， 
所 以 


Cx + Cx (Alyy + Any2) x + (Any, + Any) x 


= yAux, + Aux) +J20A2 + Ax,) 
> yb, + yb,. 


因此 ,(4.3.9) 式 成 立 . 


(4.3.9) 


定理 4.3.3 (P) 和 (D) 都 有 最 优 解 的 充 要 条 件 是 它们 都 有 可 行 解 . 


证 明 必要 性 是 显然 的 ,只 需 证 明 充分 性 . 
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设 (P) 和 (D) 分 别 有 可 行 解 z'] 和 [ >] , 则 由 定理 4.3.2 知 ,对 于 (P) 的 任 
| 


一 可 行 解 [| ,都 有 
cixi + cx, > bIy, + bly,, 
即 目标 函数 cIx, + clx, 在 (P) 的 可 行 域 上 有 下 界 , 所 以 (P) 有 最 优 解 
同样 ,对 于 (D) 的 任 一 可 行 解 [”] ,都 有 
了 


村 T To Te 
biy, + bay, < ci + cz 天 ， 


即 目 标 函 数 biy, + biy; 在 (D) 的 可 行 域 上 有 上 界 , 所 以 (D) 有 最 优 解 . 0 
定理 4.3.4 设 | 。] 为 (P) 的 可 行 解 , 则 它 为 (P) 的 最 优 解 的 充 要 条 件 是 存 
2 


在 ye R" ,y, eR”, 使 得 
Aly: + Any, < ce, 
Any! + Any, = ca， 
y=0, 
JyI(AuE, + AvF, -b) = 0， 
(el -Any, + Any,)'z, = 0. 
上 式 称 为 (P) 的 K-T 条 件 . 
证 明 先 把 (P) 化 为 标准 形 (这 与 求 (P) 的 对 偶 问 题 (D) 的 过 程 相同 ) ,再 应 
用 定理 4. 1. 8 即 得 (P) 的 K -T 条 件 . 0 


定理 4.3.5 没 [ | 和 [] 分 别 为 (PD 和 (D) 的 可 行 解 , 则 它们 分 别 为 (P) 
| 


和 (DD) 的 最 优 解 的 充 要 条 件 是 
CIB, + clk, = hIy, + bIy,. (4.3.10) 


证 明 充分 竹 . 设 [ 。] 和 [| 分 别 为 (P) 和 (CD) 的 任 一 可 行 解 , 则 由 定理 


4.3.2, 有 
必 时 Ty 和 i 
CX + Cox > by, + by, = CI 元 + cz 天 ， 


Diy + by < cf + ca = by, + biy. 


因此 ,| | 和 [分别 是 CP) 和 (D) 的 最 们 和 


必要 性 . 固 [> ] 是 (P) 的 最 优 解 , 故 由 定理 4.3.4 知 ,下 面 的 K -了 条 件 
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ATy, + Aly, < cl， 

Aly! + Any, = ca， 

7T(4E +Auxs -b) = 0， 
(ec -440 一 4232) 7 = 0， 
y= 0. 


从 而 | ，] 是 (D) 的 可 行 解 ,并 且 


cf + lz, = (AT + 332) + (Aly, + Any2) TF 
= (AnE, + Ab 天) +y1(AnF, + Ax,) 
= yb, + y2b,. 


因此 ,由 充分 性 知 ,| ”| 是 (D) 的 最 优 角 机 注意 到 |， ] 也 是 (D) 的 最 伟 解 ,所 以 


by, + bly, = bly, + bly, = cix, + C2x. 0 
定理 4.3.6 在 (P) 和 (D) 中 , 若 一 个 有 最 优 解 , 则 另 一 个 也 有 最 优 解 , 且 (P) 
和 (D) 的 最 优 值 相等 . 若 其 中 一 个 有 可 行 解 但 无 最 优 解 , 则 另 一 个 必 无 可 行 解 . 
证 明 由 定理 4.3.5 的 必要 性 证 明 可 知 , 若 (P) 存 在 最 优 解 , 则 (D) 也 有 最 
优 解 , 且 (P) 和 (D) 有 相同 的 最 优 值 . 又 因为 (P) 和 (D) 是 互 为 对 偶 的 ,所 以 若 
(D) 有 最 优 解 , 则 (P) 也 有 最 优 解 
根据 定理 4.3.3, 在 (P) 和 (D) 中 ,车 其 中 一 个 有 可 行 解 但 无 最 优 解 , 则 另 一 
个 必 无 可 行 解 . 0 
定理 4.3.7 设 [| [ 分别 是 (P) 和 (4D) 的 可 行 解 , 则 它们 分 曾 为 (?) 
和 (D) 的 最 优 解 的 充 要 条 件 是 
[Ee +Aux, -b) =0， 


(4.3.11) 
(ec -ANy, -Anys)'x = 0. 


证 明 四 为 |] 和 [分 天 为 (P) 和 (4D) 的 可 行 解 ,所 以 由 定理 4.3.5 知 ， 


它们 分 别 为 (P) 和 (D) 的 最 优 解 的 充 要 条 件 是 (4. 3. 10) 式 成 立 、 
由 于 


4 + An > bi,4aF +Anx, = Da >0, 


ATy, + ANy, < ci,Any, + Any, = ca,7, > 0， 
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因此 有 
CIE + (AT 4) FE, + (Ahy, + 4 克 ) TE 
= (AuF, + AD 元) +71(Anx, + Ax,) 
31b, + 1b,. 
由 此 可 知 ,(4. 3. 10) 式 成 立 的 充 要 条 件 是 上 式 中 不 等 号 全 为 等 号 ,这 又 等 价 于 
CI) = (Any, + Any,) "FE , 
上 + Ax) =71b,. 
式 (4.3.12) 成 立 的 充 要 条 件 是 (4.3. 11 ) 式 成 立 . 0 
式 (4.3.11) 就 是 (P) 的 最 优 解 必须 满足 的 K-T 条 件 中 的 互补 松弛 条 件 . 它 
表明 ,对 于 (P) 和 (D) 的 最 优 解 , 若 (P) 的 第 i 个 不 等 式 约束 为 松 约束 , 则 (D) 的 
第 i 个 非 负 约束 为 紧 约 束 ; 若 (D) 的 第 i 个 非 负 约束 为 松 约束 , 则 (P) 的 第 i 个 不 
等 式 约 东 为 紧 约 束 ; 若 (P) 的 第 /个 非 负 约 东 为 松 约束 , 则 (D) 的 第 7 个 不 等 式 为 
紧 约 束 ; 若 (D) 的 第 j 个 不 等 式 约束 为 松 约束 , 则 (P) 的 第 了 个 非 负 约束 为 紧 
约束 . 
作为 定理 4.3.7 的 特殊 情形 ,立即 得 到 下 面 的 两 个 常用 的 互补 松弛 条 件 
推论 4.3.8 设 二 和 了 分 别 为 原 问题 (4.3.1) 和 对 偶 问 题 (4.3.2) 的 可 行 
解 , 则 它们 分 别 为 问题 (4. 3. 1) 和 (4. 3.2) 的 最 优 解 的 充 要 条 件 是 
全 -< 们 -4b) =0, 
(ec -A'y)'x = 0. 
推论 4.3.9 设 主 和 5 分别 为 (LP) 和 (DP) 的 可 行 解 , 则 它们 分 别 为 (LP) 
和 (DP) 的 最 优 解 的 充 要 条 件 是 
(ec -477)7 = 0. 0 
例 4.3.3 利用 互补 松弛 条 件 解 线性 规划 问题 


max 4x, + 3x, + 6x3; 


(4.3.12) 


0 


st. 4x) +x, +3x < 30, 
xi + 2x, + 3x, < 40, 
xx > 0. 
解 ”上 述 线性 规划 问题 的 对 偶 问题 为 
min 30y, + 407y,; 
St. 4y, +y, 三 4， 
yi +27y, > 3, 
7 +7 >2, 
yi1,72 > 0. 
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我 们 用 图 解法 求解 此 对 偶 问题 ,如 图 4. 3. 1 所 示 ,得 知 其 最 优 解 为 了 = (1,1) 


» 


四 hn 
图 4.3.1 例 4.3.3 中 问题 的 对 偶 问 题 的 图 解法 


注意 到 不 =1 >0, 琅 =1>0,4 韦 + 丈 >4, 根 据 互 补 松弛 条 件 , 原 问 题 的 最 优 
解 荆 = (5 2) 应 满足 
42 + x + 37 = 30， 
| +22 +352 = 40， 
z = 0. 
由 此 解 得 原 问题 的 最 优 解 *= (0,10,20/3) ,最 优 值 为 70. 0 
最 后 ,利用 实例 营养 问题 来 解释 对 偶 线 性 规划 的 经 济 意 义 . 设 * 和 分 别 为 
问题 (4.3.3) 和 问题 (4. 3. 4) 的 最 优 解 , 则 
(1) 到 的 第 i 个 分 量 地 称 为 第 i 种 营养 成 分 的 影子 价格 (shadow price) ,此 
价格 表示 饲养 场 从 饲料 公司 得 到 一 个 单位 的 第 i 种 营养 成 分 所 要 支付 的 最 大 的 
价钱 ; 


(2) 当 第 i 种 营养 成 分 过 剩 ( 即 Sa > 6,) 时 ,互补 松弛 条 件 要 求 =0， 
它 表示 饲养 场 对 第 i 种 营养 成 分 不 愿 支持 任何 费用 ; 


(3) 当 第 j 种 配料 的 价格 过 高 ( 即 > ai7) < ci) 时 ,互补 松弛 条 件 要 求 亏 = 
0, 这 表示 饲养 场 不 应 再 使 用 第 j 种 配料 


4.4 ”对 侦 单纯 形 法 


设计 为 (LP) 中 关于 基 B 的 基本 解 , 令 7= (caB“')". 若 和 5 分 别 是 (LP) 
和 (DP) 的 可 行 解 , 则 47 了 <e, 这 等 价 于 
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m= (ciB-4-c)7=47-c<0， 
即 记 对 应 的 检验 数 全 部 非 正 , 故 由 定理 4.2.1 知 江 是 (LP) 的 最 优 解 . 而 
b'y =y'b = cIB-O = ec'x, 
所 以 由 定理 4.3.5 知 ,了 是 (DP) 的 最 优 解 . 这 不 但 说 明 可 以 由 (LP) 的 最 优 解 得 
出 (DP) 的 最 优 解 ,而 且 表 明 :(LP) 中 关于 基 B 的 基本 解 * 对 应 的 检验 数 全 部 非 
正当 且 仅 当 (c3B - ) " 为 (DP) 的 可 行 解 . 因此 ,我 们 把 (LP) 中 检验 数 全 部 非 正 
的 基本 解 称 为 对 偶 可 行 解 (dual feasible solution ) 或 正则 解 ( regular solution ) , 相 
应 的 基 称 为 对 偶 可 行 基 (dual feasible basis) 或 正则 基 ( regular basis ) . 
于 是 可 知 ,单纯 形 法 其 实 是 从 一 个 基本 解 迭代 到 另 一 个 基本 解 , 在 迭代 过 程 
中 始终 保持 可 行 性 ,使 其 对 偶 不 可 行 性 ( 非 正 则 性 ) 逐 步 消 失 , 一 直到 对 偶 可 行 
性 (正则 性 ) 被 满足 , 便 是 最 优 解 . 
因为 (LP) 和 (DP) 互 为 对 偶 问 题 ,所 以 基于 对 称 的 想法 ,我 们 可 以 给 出 求解 
(LP) 的 这 样 一 个 迭代 过 程 :从 一 个 基本 解 迭代 到 另 一 个 基本 解 ,在 迭代 过 程 中 
保持 对 偶 可 行 性 (正则 性 ) ,使 其 不 可 行 性 逐步 消失 ,一 旦 满足 可 行 性 便 是 最 优 
解 . 这 就 是 对 偶 单纯 形 法 (dual simplex method) 的 基本 思想 . 相对 而 言 , 把 前 面 介 
绍 的 单纯 形 法 称 为 原始 单纯 形 法 ( prime simplex method ). 
设 已 知 (LP) 的 一 个 正则 基 B =(p ,ps，… ,pj ) ,对 应 的 正则 解 为 3, 仍 用 R 
表示 非 基 变量 的 指标 集 , 即 
R= 11,2,% ,nl \dj ja," a}. 
设 (LP) 关 于 基 B 的 典 式 为 
min f=/- Ds 
st % = bo bri = 1,2,,m, (4.4.1) 


0, = 1,2,n. 
因 是 正则 解 , 故 典 式 (4.4.1) 中 的 检验 数 
m0,vVieR. 
如 果 bo 宇 0(i=1,2,…,m) , 则 为 (LP) 的 最 优 解 . 否则 , 即 有 某 些 b。<0, 则 可 
选 满足 
min [ba|bs < 0| = bo (4.4.2) 
的 羽 为 离 基 变量 以 下 分 两 种 情况 讨论 . 
(1) 若 所 有 b>0(isR) , 则 (LP) 无 可 行 解 . 
这 是 因为 ,假如 (LP) 有 可 行 解 工 = (六 ,4,，,…,z,)", 则 有 
二 = bo - 了 
由 bs <0,b>0UeR) 和 各 >0(jeR) 知 部 <0, 此 与 为 可 行 解 巴 盾 . 
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(2) 若 存在 某 些 bi <0, 则 可 在 这 些 元 素 所 在 列 对 应 的 非 基 变量 中 选取 进 基 
变量 . 

假设 x, 为 进 基 变量 , 因 5. 关 0, 故 由 定理 4.2.4 知 , 约 束 矩 阵 4 的 列 向 量 组 

加 
线性 无 关 , 即 上 述 列 向 量 构成 新 基 互 . 将 典 式 (4.4.1) 作 1s,rl 旋 转变 换 : 先 解 
xx, 得 
b b 和 
再 回 代 到 典 式 (4.4.1) 中 ,得 
Ss bo, - by 2 
x = (5 二 26) 村 ,> 二 


9 


为 使 新 基 BB 成 为 正则 基 , 则 应 使 (4.4.3) 式 中 新 的 检验 数 非 正 , 即 


-下 <0， (4.4.4) 
mm 0 vieRN (4.4.5) 


要 使 (4.4.4) 式 成 立 , 因 5,<0, 故 要 求 b, <0. 从 而 , 当 好 0 时 ,(4.4.5) 式 自 
然 成 立 ; 当 b, <0 时 ,要 使 (4.4.5) 成 立 , 则 要 求 


TT 
bb 
由 此 可 知 ,只 要 选择 x, 满足 
这 = min{ 守 b, <0,je a}, (4.4.6) 


那么 (4.4.4) 式 和 (4.4.5) 式 均 能 被 满足 . 所 以 ,只 需 分 别 按 (4.4.2) 式 和 
(4.4.6) 式 选取 离 基 变量 x%, 和 进 基 变量 x,, 就 能 得 到 关于 基 当 的 正则 解 
注意 到 ,<0,bo <0,b <0, 从 而 由 (4.4.3) 式 知 


如 果 , <0, 则 必 有 cz > ec" 因此 ,在 对 偶 单 纯 形 和 迭代 中 ， 目标 函数 值 是 单调 增 

加 的 ,这 与 原始 单纯 形 和 迭代 的 情况 正好 相反 ,其 原因 在 于 ,对 偶 单纯 形 和 迭代 是 从 

(LP) 的 可 行 域外 部 逐步 趋 于 最 优 解 . 并 且 , 如 果 (LP) 的 每 一 个 正则 解 中 非 基 变 

量 对 应 的 检验 数 都 是 负 的 (此 时 称 (DP) 是 非 退化 的 ) ,那么 每 迭代 一 次 ， 目标 函 

数值 严格 单调 增加 ,从 而 出 现 过 的 正则 解 不 会 再 次 出 现 , 于 是 经 过 有 限 次 迭代 
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后 ,或 者 得 到 (LP) 的 最 优 解 ,或 者 判定 (LP) 无 可 行 解 . 

以 上 所 述 的 从 一 个 正则 解 迭代 到 另 一 个 正则 解 的 方法 ,与 原始 单纯 形 法 中 
从 一 个 基本 可 行 解 迭代 到 另 一 个 基本 可 行 解 的 方法 是 类 似 的 ,都 是 作 1s,r| 旋 
转变 换 , 所 不 同 的 是 离 基 变量 和 进 基 变 量 的 选取 方式 . 因此 ,对 偶 单纯 形 法 也 可 
以 在 单纯 形 表 上 进行 . 

算法 4 -2( 对 偶 单纯 形 法 ) 

Step 1 选取 (LP) 的 一 个 关于 正则 基 B 的 正则 解 , 列 出 单纯 形 表 7(B). 

Step 2 若 bw>0(i=1,2,…,m) , 则 是 最 优 解 ,算法 结束 ;否则 , 按 

j= min | 六 | bo = Pi bo 

选取 %, 为 离 基 变 量 . 

Step 3 车 b,>0(jeR), 则 (LP) 无 可 行 解 ,算法 终止 ;否则 , 按 


r = min (Ube = min 到 
选取 x, 为 进 基 变 量 . 


Step 4 ”以 5, 为 主 元 进行 1s,r| 旋 转变 换 ,得 到 新 的 单纯 形 表 7( 互 ) ,以 B 取 
代 B, 返 回 Step 2. 


例 4.4.1 用 对 偶 单 纯 形 法 求解 线性 规划 问题 
min f =x, +3x, +X3i 
at 2x +xa +xs 3, 
3x) + 2x, > 4， 
x +2x: -53 PP1， 
xiy2a xs > 0. 
解 ”引进 变量 *,xs ,xs, 将 给 定 的 线性 规划 问题 化 为 标准 形式 : 
min f =x, +3x, +x; 
St ~2x -2 -x+x =—3, 
-3x, -2x +xs =—4, 
— x — 2x +xy3 +xe = 一 1， 
1 X29%3 9N4 9Xs 9X6 PO. 
B= (pi, pi,ps) 是 一 个 明显 的 正则 基 , 对 应 的 初始 正则 解 三 = 
(0,0,0, -3, -4, -1)". 相应 的 单纯 形 表 为 表 4. 4. 1. 
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表 4.4.1 例 4.4.1 的 初始 单纯 形 表 


x x xy x zs 

i i SE -1 1 0 0 -3 
xs -3 -2 0 0 1 0 -4 
EA | -2 1 0 0 1 -1 
了 -1 -3 -1 0 0 0 0 


因为 bo = -3<0,b = -4<0,by = -3<0, 所 以 取 x; 为 离 基 变量 . 而 


win {| < 0}= min 全 , 汪 = 于 = 已， 


故 取 x, 为 进 基 变 量 . 以 2 = -3 为 主 元 作 12,1|} 旋转 变换 ,得 表 4. 4. 2. 


表 4.4.2 例 4.4.1 选 代 一 次 后 的 单纯 形 表 


同 理 ,再 在 表 4. 4. 2 中 进行 11,51 旋 转变 换 ,得 表 4. 4. 3. 而 表 4. 4. 3 对 应 的 
正则 解 是 可 行 解 , 即 知 给 定 的 问题 的 最 优 解 为 x = ( ,0,0】 ,最 优 值 为 


表 4.4.3 例 4.4.1 和 迭代 两 次 后 的 最 优 单纯 形 表 


x [ 5 二 %s oe 
a 0 -1/2 3/2 -3/2 0 172 
区 1 172 172 -1/2 0 0 3/2 
6 0 -3/2 3/2 -172 0 1 172 
f 0 -5/2 -1/2 -1/2 0 0 372 


0 

如 果 对 偶 问题 (DP) 是 退化 的 ,那么 用 对 偶 单纯 形 法 求解 (LP) 就 可 能 导致 

基 的 循环 . 为 了 避免 发 生 这 种 现象 ,我 们 可 以 采用 下 面 的 规则 选取 离 基 变量 和 进 
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基 变 量 . 
(1) 离 基 规则 :由 
i= min |j|bs < ol 
确定 ,为 离 基 变量 ; 
(2) 进 基 规则 不 变 : 即 仍 由 


r = min f{ 


main TL 
T= min 


a 
选取 x%, 为 进 基 变量 . 
这 里 的 离 基 规 则 和 进 基 规则 也 称 为 Bland 规则 . 
最 后 ,我 们 讨论 求 初始 正则 解 的 方法 . 
我 们 知道 ,用 对 偶 单 纯 形 法 求解 (LP) 时 ,必须 先知 道 一 个 初始 正则 解 . 如 果 
所 给 的 (LP) 不 含有 明显 的 正则 基 , 如 何 进行 对 偶 单纯 形 和 迭代 呢 ? 下 面 来 回答 这 
个 问题 . 
设 已 知 (LP) 的 关于 基 B 的 基本 解 , 它 不 是 正则 解 (也 不 必 是 可 行 解 ) ,对 
应 的 典 式 为 (4.4.1) 式 ,现在 引进 一 个 人 工 约束 (artificial constraint) 
D +x = M, 
后 
其 中 M 表示 充分 大 的 正 数 ,x,,, 为 引进 的 变量 . 把 这 个 约束 添加 到 (4.4.1) 式 中 
得 到 一 个 新 的 线性 规划 问题 
min f=/- > mai 


st Mi = bo 一 Dori = 1,2,.,m, 
在 


xi =M- bE 
x 0 =1,2,. ,n,n+l. 
问题 (4.4.7) 称 为 (LP) 关 于 基 B 的 扩充 问题 (extended problem). 
对 于 扩充 问题 (4.4.7) , 按 下 述 方法 处 理 , 即 可 得 出 它 的 一 个 正则 解 . 设 
T, = max {nm|n, >0,e RI, 
选取 x, 为 进 基 变 量 ,并 指定 x,,, 为 离 基 变量 ,以 6,,,., 为 主 元 作 |m +1,r| 旋 转变 
换 ,得 到 新 的 典 式 . 易 知 新 的 典 式 中 目标 函数 的 表达 为 
f= CU-maM)- Tm) 


ie 全 4 
其 中 检验 数 


(4.4.7) 


mn, <0,Vie Rr;-n, <0. 
所 以 ,经 上 述 迭 代 所 得 的 新 的 基本 解 便 是 (4.4.7) 式 的 正则 解 . 
扩充 问题 (4.4.7) 有 了 初始 正则 解 后 , 便 可 开始 对 偶 单 纯 形 和 迭代. 迭代 结果 
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有 且 仅 有 下 列 三 种 可 能 情形 : 
(1) 扩充 问题 无 可 行 解 , 则 (LP) 也 无 可 行 解 ; 
(2) 扩充 问题 有 最 优 解 (z, ,zx,，… ,z,,z,,1)", 且 扩充 问题 的 最 优 值 与 要 无 
关 , 则 (zz ,%,…,z.)" 是 (LP) 的 最 优 解 ; 
(3) 扩充 问题 有 最 优 解 (z, ,z，，… ,z,,z,,1)", 但 扩充 问题 的 最 优 解 值 与 M 
有 关 , 则 (LP) 无 最 优 解 . 
以 上 三 种 可 能 情形 的 证 明 留 作 习题 . 
例 4.4.2 求解 线性 规划 问题 
min f=-2x, +x3; 
st. x+x+x =5, 
%2 —%3+%e =—1, 
x x2 sy sXe > 0. 
解 显然 (Pi,P,) 为 一 个 基 , 但 既 不 是 可 行 基 也 不 是 正则 基 , 因 为 对 应 的 基 
本 解 上 = (5,0,0, -1) , 且 检验 数 r: =2 >0. 增加 入 工 约束 
x2 +%3 +xs = M, 


列 出 扩充 问题 的 初始 单纯 形 表 4. 4. 4. 


表 4.4.4 例 4.4.2 扩充 问题 的 初始 单纯 形 表 


Fr 所 1 2 0 0 5 
EE 0 1 -1 1 0 -1 
xs | 0 1 1 0 1 M 
1 | 0 2 -3 0 0 0 
首次 迭代 的 离 基 变量 指定 为 xs ,并 由 

max im|lm>0l =2=7, 


确定 *, 为 进 基 变 量 ,进行 13 ,21 旋 转变 换 , 得 表 4. 4. 5. 
从 单纯 形 表 4. 4. 5 开始 即 按 对 偶 单 纯 形 法 进行 欠 代 . 因为 wo = -M+5 <0， 
bwo = -于 -1<0, 所 以 选 x, 为 离 基 变量 ,而 


位 
min4 一 
bx 


故 取 xs 为 进 基 变 量 . 作 12,51 旋 转变 换 ,得 表 4.4. 6. 
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表 4.4.5 例 4.4.2 扩充 问题 选 代 一 次 的 单纯 形 表 


x x x x 
和 0 1 0 -1 -M+5 
x 0 0 -2 1 a -M -1 
x 0 1 1 0 1 M 
了 0 0 一 0 -2 -2M 
表 4.4.6 例 4.4.2 扩充 问题 选 代 两 次 的 单纯 形 表 

x x xs 
和 1 0 3 -1 0 6 
x 0 0 2 -1 1 M+1 
» | 0 A 0 | 2 
了 0 0 -1 0 2 
同 理 ,在 表 4. 4.6 中 再 进行 13 ,31 旋转 变换 ,得 表 4. 4. 7. 

表 4.4.7 例 4.4.2 扩充 问题 选 代 三 次 后 的 最 优 单纯 形 表 

1 xX 3 bb %s 
s 3 0 2 0 订 
x 0 2 0 1 1 M-1 
0 0 -1 1 -1 0 
了 | 0 -1 0 1 0 3 


单纯 形 表 4. 4.7 对 应 的 正则 解 已 是 可 行 解 ,从 而 是 扩充 问题 的 最 优 解 , 且 对 
应 的 目标 函数 值 与 M 无 关 , 因 此 得 到 给 定 的 问题 的 最 优 解 
= (3,0,1,0) 7， 


最 优 值 为 3. 


习 题 
1. 将 下 列 线性 规划 问题 化 为 标准 形式 : 
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max 一 2xz +xa — 2x 
St 4 
(1) Ee 


-2 +- 6， 


x <0,x, > 0. 


(2) min 5 | Da 云南 | 
2. 用 图 解法 求解 下 列 线性 规划 问题 : 


max 2x, + Txt min 2x, + 6x,; 
Bt 2 + 2x 5 116, St 3 
(CD a (2) ee 
2x, + x < 12, 2x, -x > 2， 
1 x2 > 0. xza > 0. 


min 2x + 6x, + xy; 


St 2 + 5 


(3) 


2x, + 3x, +x = 6， 
x ,X21Xy 0. 
3. 对 于 线性 规划 问题 
min 4x, + 5xai 
Bt + + = 1 
2x, +3x, = 1， 
EE 
求 出 全 部 基本 可 行 解 ,并 比较 出 最 优 解 - 
4. 考 虚线 性 规划 问题 
min x + 有 xi 
st -x +x, 1 
-x +2x, < 4, 
xza > 0， 
试用 图 解法 讨论 , 当 B 取 何 值 时 ,上 述 问题 
(1) 有 惟一 的 最 优 解 ; 
(2) 有 无 穷 多 个 最 优 解 ， 
(3) 无 最 优 解 . 
5. 设 x 是 (LP) 中 关于 不 同 基 B,,B, 的 基本 可 行 解 ,证 明 :x。 为 (LP) 的 退化 的 基本 可 
行 解 . 
6. 设 AeR"*" 是 行 满 秩 矩 阵 ,be R", 上 且 了 是 多 胞 形 
K= |xr|Ar=b,r>0| 
的 一 个 极点 . 证 明 : 存 在 向 量 ce R" ,使 得 是 线性 规划 问题 
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min cx; 
| tL 4r = 五 ， 
x=0 


的 惟一 的 最 优 解 . 


7. 证 明 :(LP) 的 非 退 化 基本 可 行 解 * 是 其 惟一 最 优 解 的 充 要 条 件 是 的 所 有 非 基 变 晤 
对 应 的 检验 数 均 为 负数 . 


8. 用 单纯 形 法 求解 下 列 线性 规划 问题 : 
Max Xl + Xd 十 + 
(1) [二 
s+% SS， 
gis%2 5%3 54 2 0 
min xi -2x + x 
Sst, x +3xy +2x = 12， 
(2) m -2x +x =2， 
s+ 
S14 oa 3 4 og Be 0. 
min 2x) - 3x,; 
St 
(3) %2 2% +2 = 1 
3x +x -2x = 2， 
2 ,52 53 5455 0. 
max 和 | 十 as + 
Sl -% -2x 5, 
(4) 2x, -3x: + x < 3, 
2x, - 5x, + 6x, < 5, 
Xi ,X23 > 0. 
9. 用 Dantzig 规则 和 Bland 规则 分 别 求解 Beale 例子 . 
10. 试用 两 阶段 法 求解 下 列 线性 规划 问题 : 


min xi +x +2xy + Sxs 


St 1 一 2x 个 5 到 


(1) 4 


2x, -4z +2x = 2， 


EE 
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min x) + 2x + 3zi 


sm-2xa +4x = 4， 


(2) 
4x -9x -3x，= 16, 
ma > 0. 
max 10x, + 15x + 12x,; 
St. Sx +3x +x 9, 
(3) 2x +m + > 5， 


— Sx, + 6x, + 15x, < 15, 

is%2 5% DS 0. 

11. 写 出 下 列 线性 规划 问题 的 对 偶 问 题 : 
min 2x) + x +3xy + xs 

et 

(1) 2x) -x+3x =-4， 


+1 


x > 0,x, > 0. 
min 3x + 2x, - 3xy + 4x5 
St 5 -2x: +3x + 4x, G3, 
(2) x + 3xy +4x > -5, 
2x, — 3x, -7x -4%, = 2， 
xi > 0,x, <0. 
12. 写 出 下 列 线性 规划 问题 的 对 偶 问题 及 其 互补 松弛 条 件 : 
le min cx; 
(CD 人 (2) (st Axr=b, 
Isrsu. 


x>0. 
13. 写 出 下 面 运 输 问题 的 对 偶 问 题 : 


zo 2 0 = ,2 my 2 
14， 假设 线 性 规划 问题 (LP) 有 最 优 解 ,证 明 : 对 一 切 de R" ,线性 规划 问题 


a pM 


min cr; 
st. Ar=d, 
r=0 
不 会 出 现 有 可 行 解 而 无 最 优 解 的 情况 . 


15. 对 于 线性 规划 问题 (LP) ,假设 47 =4,c =5, 试 证 : 若 x。 为 (LP) 的 可 行 解 , 则 x。 必 是 
最 优 解 . 
16. 对 于 互 为 对 偶 问题 的 问题 (4.3. 1) 和 (4.3.2) , 记 
P(x) = cz -yAr+b'y, 
设立 >0, 了 >0, 证 明 :z 和 了 分 别 为 问题 (4.3.1) 和 (4.3.2) 的 最 优 解 的 充 要 条 件 是 ( 工 , 了 ) 为 
g(x,y) 的 鞍点 , 即 对 一 切 xeR",yeR",x>0,y>0, 有 
PE)) < P( 工 ,了 ) < p(x,y). 
17. 应 用 对 侦 理 论证 明 下 面 线性 规划 问题 无 最 优 解 : 
min x -+ 
St Xx ~ Xx 4, 
xi -Xs + 2x 4, 
x ,x ,xy 三 0. 
18. 应 用 对 侦 理 论证 明 线性 规划 问题 
max 4x +Sx + 9x); 
st, +x +2x < 16, 
Tx + 5x, + 3x, < 25, 
xxa 23 > 0 
及 其 对 偶 问题 都 有 最 优 解 , 并 求 最 优 解 的 上 界 和 下 界 . 
19. 已 知 线性 规划 问题 
max xi + 2 + 3x) + 4x; 
St +2x +2x, +3x < 20, 
2x + x +3x +2x, < 20, 


Si za 23 24 玉 0 
的 对 偶 间 题 的 最 优 解 为 了 = ( <， 村】 ,试用 互补 松弛 条 件 求 原 问题 的 最 优 解 - 
20. 已 知 线性 规划 问题 


min 5Sx +21x,; 
St 6 > al 
xi +x +2x > 1， 


2 ay23 人 0 
的 最 优 解 为 = (二 9) , 求 对 偶 问 题 的 最 优 解 和 参数 a 的 值 


21. 把 线性 问题 (4. 3. 1) 化 成 标准 形式 
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min crTxi; 
st Ar-z=b, 
x>=0,z>0. 
再 用 单纯 形 法 求解 这 一 问题 . 证 明 :在 最 优 单纯 形 表 中 ,z 变量 对 应 的 检验 数 反 号 所 组 成 的 向 
量 就 是 对 偶 问题 (4. 3. 2) 的 最 优 解 . 
22. 用 对 偶 单 纯 形 法 求解 下 列 线性 规划 问题 : 
min 12x, + 18x, +16x, +12x,; 
St 2x +x +4x,>2, 
2x, +2x: + 4x, >3, 
xi yxa yx3 ,Xe SO. 
min x +3xs + x, 
St. 2x +xa +%) 3, 
(2) 3x +2x, >4, 
xi +2x: -为 三 1， 
x x2 3 20. 
min 3x) +2x +xys 


st + + 6 


(3) x -4， 
x -zz3， 
Xi sx2 ,3 SO. 


23. 对 于 (LP) 关 于 基 B 的 扩充 问题 (4.4.7) ,在 有 了 初始 正则 解 后 , 便 开始 对 偶 单 纯 形 
选 代 . 证 明 以 下 三 个 结论 : 
(1) 车 问题 (4.4.7) 无 可 行 解 , 则 (LP) 无 可 行 解 ; 
(2) 车 问题 (4.4.7) 有 最 优 解 (% ,x ，… ,二 ,元 .1)", 且 其 最 优 解 与 M 无 关 , 则 (元 ,,，…， 
元,)" 是 (LP) 的 最 优 解 ; 
(3) 车 问题 (4.4.7) 的 最 优 值 与 MM 有关, 则 (LP) 无 最 优 解 . 
24， 利 用 扩充 问题 求解 下 列 线性 规划 问题 : 
min -2x, +x2; 
Sst. x +2x, +2x, <6, 
(4 x +2a2 +x) >4, 
2 ,£2 ,23 0. 
min xi —2x, -3x,; 
St xz +2a 2% +3% 5 
2x, -mm + xy ~ 4， 


2 sX2 23 ,Xa FO. 
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min 一 xi +2x, +3x); 
St Sx) -mm +5x +x, <17, 
(3) 1 -2za +x 222， 
+ 33， 


x1 x2 x3 xs 0. 


» 


第 五 章 ”迭代 算法 


在 开始 学 习 求 解 非 线性 最 优化 问题 的 算法 之 前 ,我 们 在 这 一 章 里 先 介绍 选 
代 算法 的 一 些 概念 ,以 便 对 以 后 各 章节 中 的 具体 算法 有 一 个 一 般 性 的 理解 . 


5.1 下 降 迭 代 算法 的 基本 格式 


集合 X 上 的 迭代 是 指 :开始 时 , 选 定 一 个 初始 点 x。e 六 ,并 置 =0, 然 后 按 某 
种 规则 .名 把 第 上 次 迭代 点 x 映射 为 后 继 点 zi e XX, 记 作 式 ,,， = .Bt ) ,并 称 
之 为 第 上 +1 次 迭代 . 如 果 得 到 一 个 迭代 点 列 {xt| ,那么 把 其 中 的 规则 .如 称 为 迭 
代 算法 . 如 果 关 于 某 个 函数 a(x) ,对 每 个 上 ,都 有 
Q(X) < az)， 
则 称 .如 为 下 降 和 迭代 算法 (descent iterative algorithm ) ,简称 为 下 降 算 法 ( descent 
algorithm ) . 
求解 非 线 性 最 优化 问题 
人 Jr); (5.1.1) 
st 2 ES， 
其 中 SSR",/:S 一 R ,一般 都 采用 下 降 和 迭代 算法 ,这 里 (zx) 通 常 取 作 目 标 函 数 
f(x) 本 身 . 
设 x,e R" 是 某 和 迭代 算法 的 第 上 次 迭代 点 ,xz 是 第 上 +1 次 迭代 点 , 记 
Ax, = Xi — Ess ($1.2) 
则 有 
Xin = Ke Ai 
由 (5.1.2) 式 知 ,Ax 是 一 个 以 x 为 起 点 x;,1 为 终点 的 n 维 向 量 . 今 设 dieR" 是 
与 Ax, 同方 向 的 向 量 , 则 必 有 某 个 xs=0 ,使 Ax, = Ad ,于 是 有 
est = 了 十 Aid (5.1.3) 
这 就 是 求解 非 线性 最 优化 问题 (5. 1. 1) 的 基本 和 迭代 格式 . 
通常 ,我 们 把 基本 迭代 格式 (5.1.3) 中 的 d, 叫做 第 k+1 次 搜索 方向 
(search direction) , 它 是 一 个 其 方向 从 x; 指向 x, 的 向 量 ;A 和; 叫做 第 k+1 次 
步 长 因子 或 沿 di 方向 的 步 长 (step size). 从 (5.1.3) 式 可 以 看 出 ,使 用 迭代 算 
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法 求解 非 线 性 最 优化 问题 的 关键 在 于 如 何 构造 每 一 次 的 搜索 方向 和 确定 适当 
的 步 长 . 

对 于 无 约束 最 优化 问题 (此 时 S = R") ,搜索 方向 通常 取 目 标 函 数 的 下 降 
方向 . 但 对 于 约束 最 优化 问题 ,迭代 一 般 在 可 行 域内 进行 ,搜索 方向 取 可 行 下 降 
方向 . 

现在 ,我 们 给 出 用 基本 和 迭代 格式 (5.1.3) 求 解 非 线性 最 优化 问题 的 一 
般 步 又 . 

Step 1 选取 初始 数据 .选取 初始 点 fo, 令 大 =0. 

Step 2 ”构造 搜索 方向 ,依照 一 定 规则 ,构造 了 在 点 x, 处 的 下 降 方向 (对 于 
无 约束 最 优化 问题 ) ,或 构造 /在 点 x, 处 关于 5 的 可 行 下 降 方 向 (对 于 约束 最 优 
化 问题 ) 作 为 搜索 方向 di. 

Step 3 ”确定 搜索 步 长 . 确定 以 zx 为 起 点 沿 搜索 方向 d 的 适当 步 长 A, ,使 
目标 函数 值 有 某 种 意义 的 下 降 ,通常 是 使 

Ar + Aidi) < f(x,). 

Step 4 求 出 新 迭代 点 . 令 

2 = 

Step 5 检验 终止 条 件 . 判定 x',, 是 否 满足 终止 条 件 , 若 满足 ,停止 迭代 , 输 

出 近似 最 优 解 xi, ; 否 则 , 令 =k+1, 转 Step 2. 


5.2 收敛 性 与 收敛 速度 


设 求解 非 线性 最 优化 问题 (5. 1. 1) 的 一 个 算法 .名 产生 的 迭代 点 列 为 1z 上 |， 
通常 要 求 该 算法 具有 下 面 的 收敛 性 : 当 |z,| 是 有 穷 点 列 时 ,其 最 后 一 个 点 是 问题 
(5.1.1) 的 最 优 解 ; 当 x,| 是 无 穷 点 列 时 ,在 某 种 范 数 ‖ .| 的 意义 下 它 收敛 于 
最 优 解 二 , 即 有 

limlx, -| =0. 
但 是 ,在 非常 多 的 情况 下 ,要 使 算法 产生 的 迭代 点 列 收敛 于 全 局 最 优 解 是 比较 困 
难 的 . 因此 ,一 般 把 满足 某 些 条 件 的 点 集 定义 为 解 集合 , 当 迭 代 点 属于 这 个 集合 
时 ,就 停止 迭代 . 常用 的 解 集 有 以 下 几 种 : 

(1) 2 =1zeS|1z 是 局 部 最 优 解 或 全 局 最 优 解 | ; 

(2) 2 = 1zeS|z 是 满足 最 优 解 的 必要 条 件 的 点 1 ; 

根据 第 三 章 介 绍 的 最 优 性 条 件 知 ,对 无 约束 问题 ,可 以 定义 

0Q= {reSIVAr) =01. 
对 约束 问题 ,可 以 定义 
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= |1Fe Sr 为 K-T 点 }- 

(3) 2 = |Fe S|x 是 某 意义 下 可 接受 的 近似 最 优 解 | ， 

例如 ,2 = |eSIf(x) <b| ,其 中 6 为 菜 个 可 接受 的 目标 值 . 

我 们 把 以 (1) 和 (2) 中 的 2 作为 解 集 的 算法 ,叫做 具有 理论 收敛 性 的 算法 ; 
把 以 (3) 中 的 2 作为 解 集 的 算法 ,叫做 具有 实用 收敛 性 的 算法 . 

一 个 算法 是 否 收敛 ,常常 同 初始 点 x。 的 选择 有 关 . 若 只 有 当 x。 充分 接近 于 
Fe9 ,由 算法 .名 产生 的 点 列 才 收银 于 广 , 则 称 该 算法 具有 局 部 收敛 性 (local 
convergence). 若 对 任意 的 初始 点 x。e 5, 由 算法 .如 产生 的 点 列 都 收银 于 屯 , 则 称 
该 算法 具有 全 局 收敛 性 ( global convergence ) . 

如 果菜 算法 用 于 求解 目标 函数 为 二 次 函数 的 无 约束 问题 时 ,只 需 经 过 有 限 
次 迭代 就 达到 最 优 解 , 则 称 该 算法 具有 二 次 终止 性 ( quadratic termination ). 由 于 
一 般 的 函数 在 最 优 解 附 近 常 常 可 以 用 二 次 函数 来 近似 ,因此 具有 二 次 终止 性 的 
算法 可 望 在 接近 最 优 解 时 具有 好 的 收敛 性 质 . 通常 ,具有 全 局 收敛 性 或 二 次 终止 
性 的 算法 在 一 定 意义 下 被 认为 是 比较 好 的 算法 . 

衡量 算法 好 坏 的 另 一 个 重要 标准 是 收敛 速度 . 

定义 5.2.1 设 由 算法 .如 产生 的 迭代 点 列 |x,| 收敛 于 x, 即 有 


lim lx, -三 | =0, 
若 存 在 实数 a >0 及 一 个 与 迭代 次 数 上 无 关 的 常数 9 >0, 使 
| xie 二 到 | 
和 ”zs 


则 称 算 法 .名 产生 的 迭代 点 列 { xi 上 具有 a 阶 收敛 速度 或 称 算法 -多 是 a 阶 收敛 
的 . 特别 地 ， 

(1) 当 a=1,g >0 时 ,迭代 点 列 1x,| 叫做 具有 线性 收敛 速度 ,或 .如 是 线性 
收敛 的 (linear convergence); 

(2) 当 1<a<2,qg>0 或 w=1,9=0 时 ,迭代 点 列 !zti 叫 做 具有 超 线性 收敛 
速度 ,或 .名 是 超 线性 收敛 的 ( hyperlinear convergence) ; 

(3) 当 a=2 时 ,迭代 点 列 |zil 叫 做 具有 二 阶 收敛 速度 ,或 .如 是 二 阶 收敛 的 
(quadratic convergence). 

一 般 认 为 ,具有 超 线性 收敛 速度 和 二 阶 收敛 速度 的 算法 是 比较 快速 的 . 不 
过 ,还 应 该 意识 到 ,对 任何 一 个 算法 ,收敛 性 和 收敛 速度 的 理论 结果 并 不 保证 算 
法 在 实际 执行 时 一 定 有 好 的 实际 计算 结果 . 一 方面 是 由 于 这 些 理论 结果 本 身 并 
不 能 保证 算法 一 定 有 好 的 特性 , 另 一 方面 是 它们 忽略 了 计算 过 程 中 十 分 重要 的 
伟人 误差 的 影响 . 此 外 ,这 些 理论 结果 通常 要 对 函数 f(x) 加 上 某 些 不 易 验 证 的 
限制 ,这 些 限制 条 件 在 实际 中 并 不 一 定 能 得 到 满足 . 因此 ,一 个 最 优化 算法 的 开 


发 还 依赖 于 数值 试验 ,就 是 说 ,通过 对 各 种 形式 的 有 代表 性 的 检验 函数 进行 数值 
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计算 ,一 个 好 的 算法 应 该 具有 可 以 接受 的 特征 . 显然 ,数值 试验 不 可 能 以 严格 的 
数学 证 明 保证 算法 具有 良好 的 性 态 . 理想 的 情况 是 根据 收 人 性 和 收敛 速度 的 理 
论 结果 来 选择 适当 的 数值 试验 . 图 5. 2. 1 给 出 了 用 于 数值 试验 的 一 个 著名 的 检 
验 函 数 Rosenbrock 函数 

f(x) = 100(z — #7)* + (1 — x) 
的 等 值 线 图 . 这 个 函数 的 每 条 等 值 线形 成 一 条 罕 长 弯曲 的 谷 道 ,外形 像 香 营 ,又 
称 为 香蕉 函数 ,其 最 优点 为 二 = (1,1)". 


图 5.2. 1 Rosenbrock 函数 等 值 线 图 


下 面 的 定理 给 出 了 算法 超 线性 收敛 的 一 个 特征 , 它 对 于 构造 终止 迭代 所 和 需 
的 终止 条 件 是 有 用 的 . 
定理 5.2.1 如 果 点 列 | xs| 超 线性 收敛 于 三, 则 
Lu 
EE 


证 明 因 {x,| 超 线性 收敛 于 *, 则 有 


Nx -| 


lim—————=0 
EE 
又 
Mx -FH i i) + (Cr 一 到 | 
El EE 
> | nl ez | lz -al |, 
EE EE 
才 lim 0 


EE 
这 个 定理 表明 可 以 用 x,.， -x, | 来 代替 x - 工 | 给 出 终止 判断 ,并 且 这 
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个 估计 随 着 的 增加 而 改善 . 需要 指出 ,该 定理 的 逆 不 真 . 


5.3 实用 终止 准则 


应 用 迭代 算法 时 , 当 x,e 0 时 才 终 止 迭 代 . 实践 中 ,在 许多 情况 下 ,这 是 一 
个 取 极 限 的 过 程 ,需要 无 限 次 迭代 . 因此 ,为 解决 实际 问题 ,需要 规定 一 些 实用 
的 终止 迭代 过 程 的 准则 ,一 般 称 之 为 停 步 准则 或 终止 准则 (stopping criteria)、 

从 前 面 的 讨论 可 知 , 中 x,, -x | 是 误差 x -中 的 一 个 估计 . 因此 ,实际 
中 我 们 用 |x, -x 代替 ‖ xx -三 上 ,这 样 ,我 们 就 不 必 有 预先 知道 最 优 解 * 的 
信息 . 

现在 我 们 给 出 一 些 常用 的 终止 准则 . 

(1) 当 自 变量 的 改变 量 充分 小 时 , 即 


xm xl <e (5.3.1a) 
或 
Nx — x 
< (5.3. 1b) 
时 ,停止 计算 . 
(2) 当 函 数值 的 下 降 量 充 分 小 时 , 即 
| Hz) -fxn) | < ae (5.3.2a) 
或 
Me | ig (5.3.2b) 
时 ,停止 计算 . 


终止 准则 (5.3.1) 式 和 (5.3.2) 式 对 于 一 些 预计 有 较 快 收敛 性 的 算法 是 比 
较 理想 的 . 但 是 ,在 有 些 情况 下 ,终止 准则 (5.3.1) 式 和 (5.3.2) 式 是 不 适当 的 . 
图 5.3.1 表明 了 其 缺陷 . 

(3) 求解 无 约束 最 优化 问题 时 , 当 梯度 充分 接近 零 时 , 即 

| V/Ax) I < (9 3.3) 

时 ,停止 计算 . 

但 由 于 平稳 点 可 能 是 鞍点 ,因此 ,在 有 些 情况 单独 使 用 这 个 准则 也 是 不 适 
当 的 . 

由 此 看 来 ,将 上 述 准 则 综合 起 来 考虑 更 为 合理 . 1972 年 , Himmelblau 提出 如 
下 终止 准则 , 当 上 x | >=s: 和 |f(x) | =e: 时 ,采用 
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| 
1 
1 
三 
mi x x 


(a) 函数 值 相 差 较 大 ， 迁 代 点 之 (b) 函数 值 相差 较 小 ， 和 迭代 点 
间 比 较 靠 近 但 远离 极 小 点 相距 较 远 且 远离 极 小 点 


图 5.3.1 终止 准则 (5.3.1) 和 (5.3.2) 不 适应 的 例子 


lx x 。。 Am) -Kx | 
[下 xs) | 


< Bis (5.3.4a) 


否则 ,采用 
Nx -wl < er Ifoxs) - f(x) | <e， (5.3.4b) 
并 将 (5.3.3) 和 (5.3.4) 两 式 结合 使 用 . Himmelblau 建议 ,一 般 地 ,可 取 e， = 
se2 =10°’ ,ey =10°. 
最 后 ,我 们 按 图 5.3. 2 约定 算法 框图 元 素 的 含义 ,然后 在 图 5.3.3 中 给 出 
Himmelblau 终止 准则 (简称 为 H 终止 准则 ) 的 计算 框图 . 


于 到 输出 框 @ 结束 框 


图 5.3.2 框图 元 素 含义 


框图 是 算法 的 一 种 直观 表示 , 它 不 仅 能 帮助 我 们 理解 算法 ,而 且 有 益 于 我 们 
把 算法 编写 成 可 在 计算 机 上 运行 的 程序 . 因此 ,作为 示范 ,我 们 还 将 在 第 六 章 给 
出 一 些 算法 的 框图 ,使 读者 学 习 如 何 把 一 个 算法 的 自然 描述 变 成 算法 框图 ,以 利 
于 对 算法 的 理解 和 计算 机 实现 . 


a 2 


lvl 


图 5.3.3 日 终止 准则 


1. 求 下 列 各 序列 的 收敛 阶 ， 
全 
(2) {( 二 让 


(3) ta},0<a<!; 


(4) Fal ,lal <1. 
2. 举例 说 明定 理 5.2. 1 的 逆 不 真 - 
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第 六 章 ”一 维 搜索 


从 这 一 章 开始 ,我 们 将 研究 求解 非 线性 最 优化 问题 的 具体 算法 . 本 章 所 讨论 
的 一 维 搜索 不 仅 是 求解 一 维 非 线性 最 优化 问题 的 基本 算法 ,而 且 是 多 维 非 线性 
最 优化 算法 的 重要 组 成 部 分 , 它 的 选择 是 否 恰 当 直 接 影响 到 一 些 算法 的 计算 
效果 . 


6.1 一 维 搜索 的 搜索 区 间 


- 维 最 优化 是 多 维 最 优化 的 基础 ,求解 一 维 最 优化 问题 的 基本 思想 是 一 维 
搜索 ,而 一 维 搜索 的 重点 是 如 何 确定 搜索 区 间 . 


6.1.1 一 维 搜索 的 概念 


在 上 一 章 中 ,我 们 已 经 得 到 了 最 优化 问题 
dt (6.1.1) 
stxes 
的 下 降 和 迭代 算法 的 基本 格式 
ee = E+ Ad,, 
显然 ,搜索 方向 d, 和 步 长 A, 构成 了 每 一 次 迭代 的 修正 量 ,它们 是 决定 最 优化 算 
法 好 坏 的 重要 因素 . 
假定 给 定 了 搜索 方向 di ,从 点 x 出 发 沿 方向 d, 进行 搜索 ,要 确定 步 长 
Ai 使 
fxin) = 所 t+Atd) < A(x). (6.1.2) 
记 
2(A) = f(x + Ad,), 
则 (6. 1.2) 式 等 价 于 
9p(Ai) < 9p(0) ， (6.1.3) 
即 确定 步 长 A 就 是 单 变量 函数 p( 和) 的 搜索 问题 , 称 为 一 维 搜索 (one dimension 
search ) 或 线性 搜索 (linear search). 如 果 问 题 (6. 1. 1 ) 是 无 约束 最 优化 问题 ,搜索 
方向 d, 取 下 降 方向 ,那么 ,一 维 搜索 相当 于 在 区 间 [0,% ) 上 选取 和 = 和 ,使 
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(6.1.3) 式 成 立 ;如 果 问 题 (6. 1. 1) 是 约束 最 优化 问题 ,搜索 方向 由 取 可 行 下 降 
方向 ,那么 ,一 维 搜索 相当 于 在 区 间 [0,4。.] 上 选取 入 = Mk, 使 (6.1.3) 式 成 立 ， 
其 中 
和 As。 = max|A|x, +Ad, € S,A>0|. 
为 方便 起 见 ,我 们 只 讨论 单 变量 函数 
ep(A) = f(x +Ad),A=0 
的 一 维 搜索 问题 . 概括 地 ,所 谓 一 维 搜索 或 线性 搜索 是 指 单 变量 函数 的 最 优化 . 
它 是 多 变量 函数 最 优化 的 基础 . 
通常 , 按 对 步 长 选取 的 不 同 原则 ,一 维 搜索 分 为 以 下 两 种 类 型 . 
(1) 最 优 一 维 搜索 
如 果 求 得 步 长 A, ,使 目标 函数 沿 方向 d, 达到 极 小 ,即使 得 
Ar + Aidi) = mip ze + Adi), 
或 
p(A,) = min p(A), (6.1.4) 
则 称 这 样 的 一 维 搜索 为 最 优 一 维 搜索 (optimal one dimension search) ,或 精确 一 
维 搜索 (exact one dimension search) ,A, 叫做 最 优 步 长 (optimal step size). 这 类 一 
维 搜索 在 非 线 性 最 优 代 方 法 研究 中 具有 基本 的 意义 ,在 以 后 几 章 中 经 常 要 应 用 
它 . 最 优 一 维 搜索 有 时 也 简称 为 一 维 搜索 , 它 具 有 如 下 重要 性 质 : 
定理 6.1.1 对 于 问题 (6.1.1) , 设 /:5 一 R 是 可 微 函 数 ,zi,, 是 从 xz 出 发 沿 
方向 由 作 最 优 一 维 搜索 得 到 的 , 则 有 
Vflxin) "ad, = 0. (6.1.5) 
证 明 记 w(A) =f/(x,+Ad,), 则 
p'(A) = V/A(x + Ad ) di 
由 xz, =x+Adi ,As 满足 (6.1.4) 式 ,可 知 Mk 是 p(A) 的 极 小 点 ,因此 
gp'(A4) =0, 即 
Vflx, + Ad,)'d, = 0. 
亦 即 (6.1.5) 式 成 立 . 0 
该 定理 指明 了 从 点 x; 出 发 沿 方向 d; 作 最 优 一 
维 搜索 所 得 迭代 点 x,,, 的 空间 位 置 , 在 该 点 处 的 梯 Ye 
度 玉 儿 x,,1) 与 搜索 方向 di 正 交 . 图 6.1.1 给 出 了 
二 维 情况 下 ,x,,, 恰 为 该 点 处 的 等 值 线 与 搜索 方向 
d, 相 切 的 点 . 
(2) 可 接受 一 维 搜索 
如 果 选 取 A, 使 目标 函数 f 沿 方向 d, 取得 适当 
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irl 


了 
图 6.1.1 搜索 方向 与 
梯度 方向 正 交 


的 可 接受 的 下 降 量 ,即使 得 下 降 量 f(x,) -f(x +Asd) >0 是 我 们 可 接受 的 , 则 
称 这 样 的 一 维 搜索 为 可 接受 一 维 搜索 ( acceptable one dimension search ) 或 非 精确 
一 维 搜索 (inexact one dimension search ). 

在 实际 计算 中 ,理论 上 精确 的 最 优 步 长 一 般 不 能 求 得 , 求 近似 最 优 步 长 也 常 
需 花费 较 大 的 工作 量 . 然而 ,进行 可 接受 一 维 搜索 往往 只 需 很 小 的 计算 量 . 因此 ， 
这 类 一 维 搜索 在 实用 中 有 着 重要 价值 . 


6.1.2 确定 搜索 区 间 的 进退 法 


考虑 一 维 极 小 化 问题 
min p(A). (6.1.6) 
我 们 引入 如 下 搜索 区 间 的 概念 
定义 6.1.1 设 p:RR,Ae[0,wm), 并 且 
9(X) = min p(A). 

如 果 对 于 闭 区 间 [a,b] C10,w ) 有 A 和 Ae[a,b], 那 么 称 [a,b] 是 问题 (6.1.6) 的 
搜索 区 间 . 

简单 地 说 ,一 个 一 维 极 小 化 问题 的 搜索 区 间 是 包含 该 问题 最 优 解 的 一 个 闭 
区 间 . 通常 ,在 进行 最 优 一 维 搜索 时 ,一 般 要 先 确定 出 问题 的 一 个 搜索 区 间 ,然后 
再 在 此 区 间 中 进行 搜索 求解 . 

确定 搜索 区 间 的 一 种 简单 方法 叫 进退 法 (advanced and retreat method) ,其 基 
本 思想 是 从 一 点 出 发 , 按 一 定 步 长 ,试图 确定 出 函数 值 呈现 “高 一 低 一 高 ”的 三 
个 点 ,一 个 方向 不 成 功 , 就 退回 来 沿 相反 向 搜索 . 具体 地 说 ,就 是 给 出 初始 点 入， 
初始 步 长 h。>0, 若 p(Ao+h。) <gp(Ao), 则 下 一 步 从 新 点 Ao + ho 出 发 ,加 大 步 
长 向 前 搜索 ,直到 目标 函数 上 升 就 停止 . 车 p(Ao + ho) >p(Ao), 则 下 一 步 仍 以 
As 为 出 发 点 , 沿 反方 向 搜索 ,直到 目标 函数 上 升 就 停止 . 这 样 便 得 到 一 个 搜索 
区 间 . 

算法 6 -1( 进 退 法 ) 

Step 1 ”选取 初始 数据 . 给 定 初始 点 Me, 初始 步 长 te >0, 加 倍 系数 w >1( 一 
般 取 ac =2) ,计算 po。=p(Ao), 置 k=0,i=0. 

Step 2 ”试探 . 令 MA =Ai+h,, 计 算 pi. =p(Ai,1). 

Step 3 ”比较 目标 函数 值 . 若 ,< pi, 转 Step 4, 否 则 , 转 Step 5. 

Step 4 ”加 步 探索 . 令 

hs = ahisA = AAS AP Penk +1 

转 Step 2. 

Step 5 反 向 探索 . 车 k=0 且 i=0, 转 换 搜索 方向 , 令 和 := 一 hi,A =Ais1， 
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i:=i+1, 转 Step 2; 否 则 ,停止 选 代 . 令 
a = minfA ,Al ,5 = maxfA ,Ai 
输出 搜索 区 间 [ a,b]. 
进退 法 的 计算 框图 如 图 6. 1. 2 所 示 . 


初始 化 : ,ho,a 宇 1， 
计算 po=p(40), 置 =0,i=0 


试探: 令 加 w=h4+ 肌 ， 
计算 prw=pQxw) 


四 
YE=pkrh k=k+1 


输出 搜索 区 间 [ao, b]， 
其 中 a=min {4,4}， 
b=max {4, hm} 


图 6.1.2 确定 搜索 区 间 的 进退 法 计算 框图 


例 6.1.1 用 进退 法 确定 一 维 极 小 化 问题 
min p(A) =A’-2A+1 
的 搜索 区 间 ,要 求 选取 Mo =0,ho =1,a=2. 
解 Step1 初始 化 :A。=0,h。=1,9。=1,k=0. 
第 一 次 搜索 : 
Step2 A,=1,9,=0. 
Step 3 ”91 < go, 进 行 Step 4. 
Step 4 ”加 步 搜索 .h, =2h。, 和 A =0,A。=1,9。=0,k=1, 进 入 第 二 次 搜索 . 
第 二 次 搜索 : 
Step 2 A,=3,9, =22. 
Step 3 gp, >p,, 转 Step 5. 
Step5 kz#0,a=miniA,A| =0,b=max| 和 ,A,| =3, 停 止 和 迭代, 搜索 区 间 
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为 [0,3]. 0 
图 6.1.3 给 出 了 目标 函数 p(A) 的 图 形 . 
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图 6.1.3 函数 mw(A) = 和 A -2A +1 的 图 形 


6.1.3 单 谷 函数 及 其 性 质 


由 于 以 后 要 介绍 的 一 些 一 维 搜索 方法 ,主要 针对 单 谷 区 间 ( 或 叫 单 峰 区 间 ， 
unimodal interval) 和 单 谷 函 数 (或 叫 单 峰 函 数 ,unimodal function) ,这 里 介绍 它们 
的 概念 及 其 简单 性 质 . 

定义 6.1.2 设 p:R-»R,[a,b] CR, 若 存在 Ae[a,b] ,使 得 wp(A) 在 [a,A] 
上 严格 单调 减 小 ,在 [A,b] 上 严格 单调 增加 , 则 称 [a,b] 是 函数 p( 和 A) 的 单 谷 区 
间 ,p(A) 是 [a,b] 上 的 单 谷 函 数 或 单 峰 函 数 . 

单 谷 函数 也 可 按 如 下 方式 定义 : 

定义 6.1.2a 如 果 存在 和 Ae[a,b] ,使 得 对 于 任何 A,,A,e [a,b] 且 A < 
A 和, 当 A,，< 和 ,有 gp(A1) >p( 和 A,); 当 和 ,>A, 有 gp(A,) <p(A,) , 则 称 p( 和 A) 是 [a， 
6b] 上 的 单 谷 函数 . 

在 单 谷 函数 定义 中 ,A 是 p( 和 A) 在 [a,b] 上 的 惟一 极 小 点 . 图 6. 1. 4 给 出 了 单 
谷 函 数 和 非 单 谷 函 数 的 图 例 . 

定理 6.1.2 设 p:R 一 R,[a,b] 为 p( 和 A) 的 单 谷 区 间 ,A,,A,e [a,b1, 且 
Ai <A,, 那 么 

(1) 若 p(4A1) <p(4,) , 则 [a,A,] 是 p( 和 A) 的 单 谷 区 间 ; 

(2) 车 p(A1) 二 p(A,) , 则 [A,,6] 是 p( 和 ) 的 单 谷 区 间 . 

证 明 设 单 谷 函数 pg( 和 A) 在 单 谷 区 间 [a,b] 上 的 惟一 极 小 点 为 A. 要 证 (1)， 
只 要 证 A e [a,A,]. 若 不 然 ,A, < 和 ,< 入 , 则 由 定义 6.1.2a 知 ,p(A1) >p(A;) ,此 
与 (1) 中 的 条 件 p(A,) <p(A,) 矛 盾 . 同 理 可 证 (2). 0 

根据 上 述 定理 ,对 于 单 谷 函数 ,只 需 比较 两 个 试探 点 的 函数 值 , 就 可 将 包含 

FA 


= 


A 


上 上 


由 
EE 


O ”~ 0 b 
(a) 单 谷 函数 (b) 单 谷 函数 (c) 非 单 谷 函 数 
图 6.1.4 单 谷 函数 与 非 单 谷 函数 
极 小 点 的 区 间 缩 短 . 


6.2 0.618 法 和 Fibonacci 法 


考虑 一 维 无 约束 极 小 化 问题 
min p(t) ,teR. 
假定 p(4) 的 一 个 搜索 区 间 [a,b] 已 确定 ,并 设 g(t) 在 [a,,b,] 上 为 单 谷 函数 ,I 
为 p(t) 在 [oi,6,] 上 的 极 小 点 . 根据 单 谷 函 数 的 性 质 ,只 需 增加 两 个 试探 点 ,就 
可 把 搜索 区 间 缩 短 . 

任 取 Ayspe[a,b1] 且 和, <p , 当 p(A1) <e(A) 时 , 取 a =ab =p1; 当 
9(AN) >p(A) 时 , 取 a =Ai,b = 加 从 而 由 定理 6.1.2, 总 有 71e[a,,b,]. 继续 
上 述 过 程 ,得 一 搜索 区 间 序 列 

[oa ,加 ] 2 La,b] 2 2 [a,,b,], 
且 ie[a,,b,], 当 b, -a,<e 时 ,[a,,b,] 中 任 一 点 都 可 作为 1 的 近似 值 . 

那么 ,应 该 如 何 选择 试探 点 呢 ? 

在 每 次 收缩 区 间 时 ,新 的 搜索 区 间 内 已 保留 一 个 旧 的 试探 点 ,因此 只 需 再 选 
一 个 新 的 试探 点 . 称 

Tt = 和 ek = 1,2,° 
(0 <7T, <1) 为 区 间 缩 短 率 (interval constraction rate). 对 7 有 两 种 可 能 情况 :7, = 
常数 或 7, 关 常数 . 相应 地 ,我 们 分 别 有 0. 618 法 和 Fibonacci 法 . 


6.2.1 0.618 法 (近似 黄金 分 割 法 ) 


设 在 第 上 次 迭代 时 ,搜索 区 间 为 [a ,5,] ,为 进一步 缩短 搜索 区 间 ,选取 两 个 
试探 点 Ai,pi efas,bi], 且 和 <pi, 则 有 
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情形 1 当 p(A) <p(u) 时 ,ie[ass] =[ae bs]. 
情形 2 当 w(A) =p(pi) 时 ,te LAs,b] = [ear ,be 
现在 要 确定 A, ,pi ,使 它们 满足 下 述 两 个 条 件 : 


(1) As 和 必 在 区 间 [a,,b,] 中 的 位 置 对 称 . 这 样 ,不 管 删 去 哪 一 段 ,新 的 搜 
索 区 间 [ ai,1 ,6b,1] 的 长 度 不 依赖 于 第 次 迭代 结果 , 即 与 p(A,) <p(p) 还 是 


9(Ai) 宇 p(p) 无 关 . 
于 是 有 
[ -ay = Ti( 吕 -as)， 
b= 

对 于 情形 1 和 情形 2, 式 (6. 2. 1) 分 别 对 应 于 如 下 两 式 : 
Hi as = Ti(b, - ai), 
bi ~ As = Ti(b, — a,). 

由 式 (6.2.4) 和 (6.2.3) 分 别 得 到 

At = + (1 -7)(b -a), 


pr = ar + Ti(b, — a). 


(6.2.1) 
(6.2.2) 


(6.2.3) 
(6.2.4) 


(6.2.5) 
(6.2.6) 


(2) 为 减少 计算 量 ,在 第 上 +1 次 迭代 中 ,保留 一 个 旧 的 试探 点 ,只 增加 一 个 


新 的 试探 点 ,如 图 6. 2. 1 所 示 . 


ak he phir br 
情形 1: rT 
| 1 | 
a 向 Al bl 
,2 ed 
ai hn At bw 


图 6.2.1 搜索 区 间 与 试探 点 的 位 置 


对 情形 1 ,由 (6.2.6) 和 (6. 2. 1) 两 式 , 有 
Ai= At = at + Ton bin -ai) 
= ak +TeTe( 一 ae). 
对 情形 2, 由 (6.2.5) 和 (6.2.1) 两 式 ,有 
Wr= Ai = a + (Ta) bis 一 ac) 
=a+(l -7T)(b -a) + (1 -Tn)rT(b -a) 
= ae+(1 -TT)(b ~- a). 
比较 (6.2.5) 和 (6.2.7) 式 以 及 (6.2.6) 和 (6.2.8) 式 得 
Tour = 1 -Te 


这 就 是 当 试探 点 满足 条 件 (1) 和 (2) 时 ,Tt 应 满足 的 条 件 . 


(6.2.7) 


(6.2.8) 


(6:2.9) 
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在 要 求 每 次 迭代 区 间 长 度 的 缩短 率 相同 , 即 7 =7( 常 数 ) 的 条 件 下 ,由 
(6.2.9) 式 得 到 
T+T-1=0， (6.2.10) 
解 得 


二 ~ 0.618. 


T = 


于 是 ,由 (6.2.5) 和 (6. 2.6) 两 式 得 到 了 0. 618 法 中 试探 点 的 迭代 计算 公式 : 
恒 =a+(1-7)( -a), 
J = a +7(b, - a,). 
由 于 每 次 函数 计算 后 搜索 区 间 的 缩短 率 为 +, 初始 区 间 为 [a, ,4b, ] ,因此 最 
终 区 间 的 长 度 为 r"…'(b, -a) ,从 而 可 知 0.618 法 的 收敛 速度 是 线性 的 . 
0.618 法 也 叫 近似 黄金 分 割 法 (approximate golden section method ) ,这 是 因 
为 缩短 率 7 恰 为 黄金 分 割 数 (golden section number) , 它 满足 比例 式 
子 -1 = 
即 满足 方程 (6. 2. 10). 其 几何 意义 是 :黄金 分 割 数 r 对 应 的 点 在 单位 长 区 间 [0， 
1] 中 的 位 置 相当 于 其 对 称 点 1 -7 在 区 间 [0,7] 中 的 位 置 (如 图 6.2.2 所 示 ). 


图 6.2.2 黄金 分 割 数 的 几何 意义 


算法 6 -2(0.618 法 ) 
Step 1 选取 初始 数据 . 确定 初始 搜索 区 间 [a,,b,] 和 允许 误差 e > 0， 
T=0.618. 
Step 2 ”计算 最 初 两 个 试探 点 : 
Ai =a+(1I-7)(-oa), =a+Tb -oa)， 
求 出 pg(A1) ,plp), 并 置 k=1. 
A 


;否则 , 转 


Step 3 检查 |A, -J| <e? 是 ,停止 计算 ,输出 = 
Step 4. 
Step 4 ”比较 函数 值 . 若 p(A,) <p (pi), 转 Step 5; 若 p(Ak) >P(A) , 转 
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Step 6. 
Step 5 ”向 左 搜索 . 令 
Gin = Gusbin = Hi = Msp pin) = p(A), 
并 计算 
At = at + (1 -7)(b, - a), 
和 (At ) , 转 Step 7. 
Step 6 ”向 右 搜索 . 令 
as = Ab = OA = pie2(A) = pp), 
并 计算 
At = ae + T(bis - ac) 
和 gp(p4,1) , 转 Step 7. 
Step 7 置 k :=k+1, 转 Step 3. 
在 图 6.2.3 中 ,我 们 省 去 了 算法 6 -2 中 的 下 标 k, 给 出 了 更 接近 计算 机 编程 


实现 的 算法 框图 . 
初始 化 :给 定 初始 搜索 区 间 [a, 5] 
允许 误差 e>0, 常数 +=0.618 


计算 最 初 两 个 试探 点 : 


向 左 搜索 : 令 
a:=p, 1:=4, p21 
A:=at+(1—t)(b-a), 
pp0) 


图 6.2.3 0.618 法 计算 框图 
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6.2.2 ”Fibonacci 法 


另 一 种 与 0.618 法 相 类 似 的 分 割 法 叫 Fibonacci 法 . 它 与 0. 618 法 的 主要 区 
别 之 一 在 于 :搜索 区 间 长 度 的 缩短 率 不 是 采用 黄金 分 割 数 ,而 是 由 所 谓 的 
Fibonacci 数 确定 . Fibonacci 数 是 指 满足 下 述 条 件 的 数列 | Fii : 

Fo=F,=1, 
> = F,+Fk = 1,2,.. 

用 数学 归纳 法 可 以 证 明 ,Fibonacci 数 可 由 下 式 表示 : 
F, = 基 ( 5 (与 本 ] = 042 (6.2.12) 

现在 来 看 , 按 怎样 的 规则 选取 试探 点 可 以 使 给 定 的 搜索 区 间 长 度 尽快 地 缩 
短 ? 换 句 话 说 , 当 事 先 给 定 计算 试探 点 的 函数 值 的 总 次 数 时 , 求 能 把 多 长 的 搜索 
区 间 缩 短 为 长 度 为 1 的 区 间 . 

设计 算 试探 点 的 函数 值 的 总 次 数 为 n, 最 终 区 间 长 度 为 1, 最 初 区 间 [a,b] = 
[oo ,bo] 的 长 度 为 上. 最 优 的 选 点 方式 应 保证 L, 最 大 . 

设 L 的 上 确 界 为 U,(i=0,1,…,n) ,由 于 至 少 要 计算 两 次 函数 值 才能 缩短 
区 间 , 故 


(6.2.11) 


Us=U=1, (6.2.13) 
且 [a1,61] =[a,b]. 设 最 初 的 两 个 试探 点 为 A1,p, 且 和 1 <p, 那 么 余下 还 可 计 
算 函 数值 a-2 次 , 极 小 点 可 能 位 于 [a ,A ] 或 [A,,b,] 中 . 当 极 小 点 位 于 [ a， 
A ] 中 时 ,必须 再 计算 n -2 次 才能 将 区 间 缩 短 为 1 ,因此 

A1 -a < VU, (6.2.14) 
当 极 小 点 位 于 [A ,65,] 中 时 ,除了 可 再 计算 函数 值 n -2 次 外 ,还 可 利用 已 算出 的 
函数 值 p(A ) ,因此 总 共 可 利用 n -1 次 函数 值 ,所 以 

bX Ua (6.2.15) 

由 (6.2.14) 及 (6.2.15) 两 式 可 得 
L.=b-a=b -a <U,,+U,.. 

从 而 

U, < Us + U, 2, (6.2.16) 
并 且 由 (6.2.11) 和 (6.2.16) 两 式 可 得 以 < 已. 因此 ,如 果 能 保证 计算 n 次 函数 
值 后 ,可 把 长 度 是 F, 的 最 初 区 间 缩短 为 长 度 是 1 的 区 间 ,或 即 把 搜索 区 间 长 度 


缩短 为 最 初 区 间 长 度 的 六 ,那么 就 可 以 认为 这 种 选 点 方式 最 优 . 按 这 种 最 优选 点 


方式 ,可 以 取 搜索 区 间 长 度 的 缩短 率 
bi Qi 下 
Ti 


bea Fn 
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容易 验证 (6. 2.9) 式 成 立 , 即 7;,.,7, =1 一 74. 根据 (6.2.5) 及 (6.2.6) 式 ,得 到 
Fibonacci 法 试探 点 迭代 计算 公式 


Ai = a + ob a) k=1,2,…,n-1 
中 四 (6.2.17) 
和 
Hi = ae Fie -om) k=1,2,.,n-1 
如 果 给 定 最 终 区 间 的 长 度 不 超过 e >0, 即 b, -a,<s, 根 据 
PF F, F, i 
b, -a,= Fee! 1 -0.1) ey et 
= 全 二 5 = 关 (4 -0) 
有 
A (6.2.18) 
€ 


那么 ,由 (6.2.18) 式 就 可 以 确定 出 n. 

运用 Fibonacci 法 ,应 注意 下 列 问题 ; 

由 于 第 1 次 迭代 计算 两 个 试探 点 ,以 后 每 次 计算 一 个 ,这 样 经 过 n -1 次 办 
代 就 计算 完 n 个 试探 点 .但 是 ,根据 公式 (6.2.17) 知 


Fh a + by 
A = avi + (bn - oa = 

F, Ql + b,. 
Wo = ai + Rb So 


这 时 A。, = 人 -,, 这 说 明 在 第 ”~ 1 次 迭代 中 并 没有 选择 新 的 试探 点 . 为 了 在 第 
-1 次 迭代 中 能 够 缩短 搜索 区 间 ,可 令 
A, = Ai = Ai +6, 
其 中 辨别 常数 5 >0. 
算法 6 -3( Fibonacci 法 ) 
Step 1 选取 初始 数据 . 给 定 初始 搜索 区 间 [a, ,4b, ] 和 人 允许 误差 a > 0 ,辨别 
系数 5 > 0, 求 搜索 次 数 ,使 


Step 2 ”计算 最 初 两 个 试探 点 : 


村 
(ba), pp = at+ 1) 


下 。 
求 函数 值 pP(A,) 和 p(A ) , 置 大 = 1 
Step 3 检查 pg(A,) <p(j4)? 是 , 转 Step 4; 否 , 转 Step 5. 


Ai = Qi + 
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Step 4 向 左 搜索 . 令 
ai = ab = Ac = Assplpin) = p(A)， 


并 计算 


-2 
Ain = G+ 


FF (bi 一 at) 
和 gp(Ai,1), 转 Step 6. 
Step 5 ”向 右 搜索 . 令 
at = Ab := byAt = Atyp(Ati) = plp.), 
并 计算 
| 

As = Qn 十 Fe Chin -qn) 
和 gp(j4,), 转 Step 6. 

Step 6 置 k:=k+1, 若 kh<n-1, 转 Step 3; 若 k=n-1, 转 Step 7. 

Step 7 邻 A, = 和 Ai,J = 和 Ai+6, 计 算 p(A,) 和 gp(p,). 若 pg(A.) < 
9(p.) , 则 令 ae:= ab =J,; 否 则 , 令 a = 和 A,,b,:=b,-, ,停止 计算 , 极 小 点 含 于 
区 间 [a, ,6b,]. 

前 面 已 经 证 明了 Fibonacci 法 是 分 制 方法 求 一 维 极 小 化 问题 的 最 优 策略 . 根 
据 (6.2. 12) 式 知 


PF, _V5-1 
| 


这 表明 , 当 k 一 % 时 , Fibonacci 法 与 0.618 法 的 区 间 缩 短 率 相同 ,因而 Fibonacci 
法 也 以 收敛 比 7 线性 收敛 ;并 且 当 k 一 wm 时 0.618 法 也 是 最 优 策略 . 比较 而 言 ， 
0.618 法 简单 易 行 ,因而 应 用 更 为 广泛 . 


6.3 函数 逼近 法 


函数 逼近 法 又 称 作 插值 法 , 它 的 基本 思想 是 根据 目标 函数 (4) 在 某 些 点 的 
信息 ,构造 一 个 与 它 近 似 的 多 项 式 函 数 少 (5) ,在 一 定 条 件 下 ,可 以 期 望 风 (5 的 
极 小 点 接近 p(4) 的 极 小 点 . 


6.3.1 Newton 法 (或 Newton 切线 法 ) 


Newton 法 的 基本 思想 是 ,在 极 小 点 附近 用 二 阶 Taylor 多 项 式 去 近似 目标 函 
数 (9) ,进而 求 出 极 小 点 的 估计 值 . 
令 
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WD) = Ph) tp +t), 


由 次 (2) =p'(4) +g"(4) (4 -4) =0, 解 得 y(1) 的 平稳 点 , 记 作 4,,, 则 
i 96) 
a 
在 点 4 附近 ,p(t) ~y(t). 因此 可 用 (4) 的 极 小 点 作为 目标 函数 g(1) 的 极 
小 点 的 估计 . (6. 3. 1) 式 亦 可 写作 
bo = 6 [p(n)] pg’(n). (6.3.2) 
(6. 3. 1) 式 或 (6.3.2) 式 就 是 Newton 法 的 迭代 公式 . 
在 微 积分 中 , 求 函数 p(1) 的 极 小 点 可 以 用 p(1) 的 平稳 点 , 即 方程 
p(t) =0 (6.3.3) 
的 根来 近似 . 这 个 非 线性 方程 的 求解 可 以 用 Newton 切线 法 来 求解 ,其 想法 是 用 
迭代 点 4 处 的 切线 


(6.3.1) 


y-Y 4) = p(t- 4) 
与 横 轴 交点 的 横 坐标 t,, 来 作为 方程 (6.3.3) 的 根 的 新 的 近似 (如 图 6.3.1). 令 
7=0 得 到 (6.3.1) 式 . 因此 Newton 法 又 叫 Newton 切线 法 (Newton tangent 
method ) . 


图 6.3.1 Newton 切线 法 


算法 6 -4(Newton 法 ) 
Step 1 给 定 初始 点 ,允许 误 差 e >0, 置 上 =0. 
Step 2 ”检查 |w'(4) | <s? 是 ,输出 二 ,停止 计算 ; 否 , 转 Step 3. 
Step 3 ”计算 点 
让 
人 


置 上 =h+1, 转 Step 2. 
下 述 定理 表明 Newton 法 具有 局 部 二 阶 收敛 速度 . 
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定理 6.3.1 设 p(1t) 存 在 三 阶 连续 导数 ,i 满足 
9'(1) = 0,9"(1) #0, 
则 当初 始点 to 充分 接近 时 ,由 Newton 法 迭代 产生 的 点 列 |41 至 少 二 阶 收敛 
于 
证 明 设 坟 #1,k=1,2,… ,注意 到 pg'(1) =0, 由 Newton 法 迭代 公式 有 
9'(t) | 
-1 


有 一 一 


lun -tl= 
p(t) 


= TasT eC) -9p'(4) -ig"(u) | 


= TasT [9'(D) -p(n) + p(n) (in)]| 
1 1 
Tp)T 2 
其 中 二 介 于 二 和 之 间 . 
因 "(1) ,p"(1) 连续 ,p"(1) 关 0, 因 此 , 当 4 充分 接近 于 1 时 , 必 有 M, > 0， 
M， >0, 使 得 在 包含 1 和 4 的 闭 区 间 的 每 点 + 上 ,都 有 
1e"(DD | > Me"(D | <M,. 


(4 1p"(é,)|, (6.3.4) 


从 而 由 (6.3.4) 式 知 


law -il < 六 (DD” (6.3.5) 
取 初 始点 4 充分 接近 于 ,使 得 
Ma -i| <1. 
M, 
于 是 有 
lat CX= {lit-il < | -ilt, 
且 
1as -下 < 要 la- 
故 易 知 lim | 4 -| =0, 即 jimt =, 且 由 (6.3.5) 知 {61 的 收敛 阶 为 2. 0 


Newton 法 具有 二 阶 局 部 收敛 性 ,收敛 速度 快 ,当初 始点 靠近 最 优点 时 ,通常 
经 几 次 迭代 就 可 得 到 满足 精度 要 求 的 点 . 但 因为 Newton 法 不 具有 全 局 收敛 性 ， 
所 以 当初 始点 远离 极 小 点 时 ,和 迭代 序列 可 能 不 收 剑 于 极 小 点 . 下 面 用 一 个 数值 例 
子 加 以 说 明 . 
例 6.3.1 用 Newton 法 求解 目标 函数 为 
二 化 二 生计 > 0， 
4 +3t,t<0 
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的 一 维 无 约束 极 小 化 问题 . 
我 们 看 到 ,当选 取 初 始点 +=0.4 时 ,如 表 6.3.1 所 示 ,6 次 迭代 后 得 到 点 
0. 002 807 ,很 快 接近 于 稳定 点 上 =0. 当选 取 初 始点 1+=0.6 时 ,如 表 6.3.2 所 示 ， 


迭代 过 程 在 点 0.6 和 -0.6 之 间 摆 动 . 0 
表 6.3.1 选取 初始 点 +=0.4 时 的 迭代 过 程 
迭代 上 和 eaD) op"(4) th 
1 0. 400 000 1.152 000 3. 840 000 0. 100 000 
2 0. 100 000 0. 108 000 2. 40 000 0. 047 059 
3 0. 047 059 0. 025 324 1.049 692 0.022 934 
4 0. 022 934 0. 006 167 0.531 481 0.011 331 
5 0.011 331 0. 001 523 0. 267 322 0. 005 634 
6 0. 005 634 0. 000 379 0. 134 073 0.002 807 
表 6.3.2 选取 初始 点 :=0.6 时 的 迭代 过 程 
迭代 上 ts vp"(4) g(t) hs 
1 0. 600 1.728 1.440 -0.600 
2 | -0.600 i 728 -1.440 0. 600 
3 0.600 1.728 1.440 -0.600 
4 -0.600 1.728 -1.440 0.600 


图 6.3.2 给 出 例 6.3. 1 中 函数 p(4) 的 图 形 . 


图 6.3.2 例 6.3.1 中 函数 pg(1) 的 图 形 
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6.3.2 割 线 法 


制 线 法 (secant method ) 的 基本 思想 是 用 区 间 [5 ,5]( 或 [22 ]) 上 的 割 
线 近 似 代替 目标 函数 的 导 函 数 的 曲线 ,并 用 该 
割 线 与 横 轴 交点 的 横 坐标 作为 方程 (6. 3. 3 ) 式 

如 图 6.3.3 所 示 . 区 间 [4.,,4] (或 [4， 
4-1] ) 上 的 割 线 方程 为 


ph) -p(t1) 


y-9'(t) = nt -4)， 
令 y=0, 得 到 制 线 法 的 迭代 公式 图 6.3;3 “市 线 法 
hs Ue ' 
hn hh BD) pm (6.3.6) 


仿照 Newton 法 的 算法 步骤 可 以 给 出 割 线 法 的 算法 步骤 . 
割 线 法 具有 超 线性 局 部 收敛 性 ,与 Newton 法 相 比 ,收敛 速 度 较 慢 ,但 不 需要 
计算 二 阶 导数 . 
引 理 6.3.2 设 a<b<c, 函 数 p(t) 在 [a,c] 上 具有 二 阶 导 数 , 则 至 少 存在 
-点 &e [a,c] ,使 得 


2(a) PCb) 9(Cc) Pp 
a Ue Cd tem oe (e) 
证 明 留 作 练 习 . 0 


定理 6.3.3 设 p(t) 存 在 连续 的 三 阶 导数 ,i 满足 p'(1) =0,p"(1) #0. 若 
4 和 4, 充分 接近 E, 则 由 割 线 法 产生 的 迭代 点 列 144 收敛 于 二 ,其 收敛 速度 的 阶 为 
1+/5 


Cl 


证 明 因 p"(1) 连 续 且 pg"(7) 关 0, 则 存在 一 个 包含 三 的 充分 小 的 闭 区 间 A = 
14| 1t-i| <61 ,使 得 对 每 一 个 teA, 都 有 9"(:) 关 0. 任 取 ti ,te A, 以 tte 
A 为 节点 构造 插值 多 项 式 
p(t) 一 9 (ht) 


WD) = p'(u) + Es (6.3.7) 
其 插值 余 项 

pe - p(t) 9'(t) 

dl er A CE 


p(n) i 
Cyr 
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根据 引 理 6. 3. 2 知 
eof(D -VD = Fo"(E) (ta) (a). 
其 中 所 介 于 4 与 4 之 间 , 且 eA. 
记 mi = -i, 并 注意 到 9g'(i) =0, 有 
WD) = Fo"(E nm (6.3.8) 
由 (6.3.6) 及 (6.3.7) 两 式 知 


P(t) ~ pt) 
ti bi - 


y(t) = 0 (1) = 


因此 ,有 
p= YE) -yh) = (€) (Tb,) 

_ Ph) -p(t.) 
bt 
=-p9(6) (un 一 了 =- "(6 ) nu: (6.3.9) 

其 中 介 于 1 与 4,, 之 间 ,6 介 于 4 与 4 之 间 , 且 eA. 

比较 (6. 3.8) 与 (6. 3.9) 两 式 得 到 
9p"(€) 


(FT-tn) 


Men = 29"(E Tt (6.3.10) 
多 max| p(t) | 
Tg min | 9"( 2) [a 
[ml < MIm| Im (6.3.11) 


取 充 分 小 的 A, 使 得 M5 <1, 则 有 
17 | < M55 < 5. 
这 说 明 由 4,t., e A 必 可 推 得 4,, e A, 进 而 由 4,t, e A 推 知 {41 e A, 且 由 
(6.3.11) 式 可 知 
[ml < MSln,|, 
所 以 易 知 1 收敛 于 三 
下 面 来 讨论 点 列 | 的 收敛 速度 . 
注意 到 pg" 和 w" 连 续 , 则 当 上 ~* 一 时 ， 
eg"() 1 
29"(€) 2 8"() 
因此 , 当 此 充分 大 时 ,由 (6.3.10) 式 得 
[ml = Hm ， 17 | ， (6.3.12) 


1 |e"(D)| yy i 
2 Tg 1 记 避 1 m1 = , 则 由 (6.3.12) 式 知 


其 中 前 = 
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Win = Ut Ws 


它 是 Fibonacci 数列 所 满足 的 方程 . 这 个 差分 方程 的 特征 方程 -7 -1=0 对 应 
的 两 个 特征 根 为 


+ _1-V5 
= 
这 样 ,有 

us = hr + Bri,k = 1,2,., 


其 中 4 和 B 是 待定 的 常数 . 于 是 ,我们 得 到 


1m = 
从 而 
[let 
Ni M pn! 
~ 
lm lt 
M"' 
所 以 , 割 线 法 的 收 全 阶 是 74 = 1 区 ~1. 618. 0 
6.3.3 二 次 插值 法 


二 次 插值 法 (quadratic interpolation ) 又 叫 抛物 线 法 ( parabolic method ) ,其 基 
本 思想 是 在 极 小 点 附近 ,用 二 次 三 项 式 少 (0 
双 近 目标 函数 pg(1). 设 [ai,b,] 为 第 k 次 迭代 
的 搜索 区 间 ,te (a,5.), 今 在 [os,b,] 上 取 二 
次 插值 多 项 式 
Wt) = at +Bt+y, (6.3.13) 
要 求 在 插值 点 ct, 如 和 4 处 ,w(t) 与 p(t) 有 
相同 的 函数 值 (如 图 6.3.4). 然后 用 (4) 在 
[ai,b] 上 的 极 小 点 4,, 作 为 p(t) 在 [a,,b,] 
上 的 极 小 点 的 估计 . 
由 三 点 插值 条 件 ,我 们 有 
Ya) = aat +Bar +y = pa), 


»| 


图 6.3.4 二 次 插值 法 


yh) = at +Bt +y = 9(u), 
Wbi) = ab +Bb: +y = p(b)-. 
由 Cramer 法 则 , 解 得 
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pa) a 1 | 必 a 1 
a=|9() 1 
gp(b) b 1 | 


ek ek | 
| 


_ bt)p(o) + (or 一 bp) + (h -a)p(b) 
(Bi ~ ti) (a — bi) (sa) , (6.3.14) 


a ep(a) 1 aa 1 
B= | ep) 1 1 
bi op(b) 1 站 有 b, 1 

_ Dt)pl0) + (as — bi)p(h) + (tat)p(b,) 


A ) (G15) 
又 由 (6.3.13) 式 , 令 
y(t) =2at+B=0， 
得 (4) 的 极 小 点 
守 =- 二 . (6.3.16) 
将 (6.3.14) 和 (6.3.15) 两 式 代入 (6.3.16) 式 得 迭代 公式 
,2 Lb)p(0) + (or bi)p(h) + (t -ot)p(b) 
2 (人 -6)eo(as) + (a bp) + (t -ap(b,). 
(6.3.17) 
这 个 公式 也 可 直接 利用 拉 格 朗 日 插值 公式 
(t—t)(t—b,) (1—-a.)(t-b,) 
CD st a br tt a be) + 


(1t—-a)(t-t) 
(Bb -a)(b, -4) 
并 令 L'(t) =0 得 到 . 
从 初始 的 搜索 区 间 [a,b] 开 始 ,反复 利用 公式 (6.3.17) ,不 断 用 二 次 插值 多 
项 式 的 极 小 点 来 缩短 搜索 区 间 , 当 搜索 区 间 缩 短 到 足够 小 时 , 便 得 到 一 维 无 约束 
极 小 化 问题 的 近似 最 优 解 . 
算法 6 -5( 二 次 插值 法 ) 
Step 1 选取 初始 数据 . 确定 初始 搜索 区 间 [a,4b] ,选取 初始 插值 内 点 i。e 
(a,b) ,给 出 允许 误差 e >0, 令 
机 天 和 机 二 汉语 三 人 
Step 2 ” 求 插值 多 项 式 的 极 小 点 


yp(b), 


i 


1 (bi -ti)p(a) + (a -bi)p(h) + (1 ~ at)p(b,) 
2 (bi -ti)p(a) +(a -bi)p(t) + (ar)p(b,) 

Step 3 ”比较 目标 函数 值 . 车 p(4.,) <p(4) , 则 当 |4,, -4| <s 时 ,停止 
计算 ,输出 4,, ,否则 , 转 Step 4; 若 (4 ) >p(&), 则 当 |4,, -4 | <s 时 ,停止 
计算 ,输出 4, 否则, 转 Step 5; 

Step 4 和 迭代 点 比 插值 点 好 时 ,确定 新 插值 点 . 检查 和 迭代 点 4,, 和 插值 点 4 
的 位 置 , 若 6 <4, 令 


Qi = ob = hk:= k+l1, 


bir = 


转 Step 2; 否 则 , 令 
at = brn = bisk:= k+l1, 
转 Step 2. 
Step 5 和 迭代 点 比 插值 点 坏 时 ,确定 新 插值 点 . 检查 迭代 点 4,, 和 插值 点 
的 位 置 ,车 4,,<4, 令 
Gi = host = hsb = bisk:=k+1, 
转 Step 2; 否 则 , 令 
CE @uobors = tsbin = bik:=k+1, 
转 Step 2. 
从 上 述 算法 步骤 中 可 以 看 出 ,由 于 保证 了 
ac<t<bpa) > p(t) < op(b), 
因此 保证 了 插值 多 项 式 y(1) 的 极 小 点 4,, 在 区 间 [&,65] 中 . 
文献 [50] 证 明了 二 次 插值 法 的 迭代 公式 (6.3. 17) 式 产生 的 迭代 点 列 141 
收敛 , 且 收 敛 阶 为 1. 32. 关于 三 次 插值 法 和 其 他 插值 法 也 参见 文献 [50]. 


6.4 非 精 确 一 维 搜索 


前 面 我 们 介绍 了 一 维 精 确 搜 索 方法 ,通过 求解 
ming(A) = f(x + Ad.) 
来 获得 从 x; 出 发 沿 d, 方向 的 最 优 步 长 A,, 并 得 到 后 继 迭 代 点 x = ze + di 
这 种 精确 搜索 往往 计算 量 很 大 ,特别 是 当 和 迭代 点 远离 最 优 解 时 ,效率 很 低 . 而 且 ， 
很 多 最 优化 算法 的 收敛 速度 并 不 依赖 于 精确 一 维 搜索 过 程 . 所 以 ,我们 应 着 眼 于 
保证 目标 函数 在 每 次 迭代 有 满意 的 下 降 量 的 方法 ,这 就 是 非 精确 一 维 搜索 
(inexact one dimension search) 方 法 或 可 接受 一 维 搜索 (acceptable one dimension 
search ) 方 法 , 它 可 以 大 大 节省 计算 量 - 
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6.4.1 Armijo - Goldstein 非 精确 一 维 搜索 方法 
设 
J = 1A >0|fGx, +Ad) < f(x.)} 
是 一 个 区 间 . 在 图 6. 4. 1 中 ,区 间 J = (0,a). 为 保证 目标 函数 有 一 个 满意 的 下 降 
量 ,必须 避免 步 长 A 太 靠近 区 间 了 的 端点 . 


fhd) 


Ce 
~ /+phed, 
| 

| i 
0 e b ca 


图 6.4.1 非 精确 一 维 搜索 的 含义 


4 


记 
5 = fx) -fx + Aid,), 
它 表示 /在 x, 处 沿 方向 d, 的 一 个 下 降 量 , 当 我 们 控制 s, 到 一 个 满意 水 平时 ,和 A， 
就 是 可 接受 步 长 . 
因 d, 是 一 个 下 降 方向 , 记 8 = VAx), 则 
9'(0) = grd, < 0. 
于 是 ,我 们 能 给 出 % 的 一 个 合理 的 下 界 : 


$4 > -pAgid,, (6.4.1) 
其 中 pe (0,1) 为 常数 . (6.4.1) 式 等 价 于 
re + Aidi) < fxs) + pAigrdi. (6.4.2) 


满足 (6.4.2) 式 要 求 的 A, 构成 了 如 图 6. 4. 1 的 区 间 J，= (0,e] ,这 排斥 了 区 间 J 
右 端 附近 的 点 . 但 是 , 它 没有 排除 A, 取 接近 于 0 的 值 . 而 当 A, 接近 于 0 时 ,一 维 
搜索 只 能 取得 很 少 的 进展 ,只 有 很 小 的 下 降 量 . 为 了 避免 A, 过 小 的 情况 ,我们 给 
54 一 个 上 界限 制 如 下 : 
SS (1 -p)Agtd,, 

它 等 价 于 

f(xy + Aidi) f(xs) + (1 -p)Aigid,. (6.4.3) 
这 个 要 求 排斥 了 区 间 的 左 端 点 附近 的 点 . 满足 (6.4.2) 和 (6.4.3) 两 式 要 求 的 


入 构成 了 区 间 = [8,c]. 当然 ,此 时 要 求 0<p < 方 . 我 们 把 (6.4.2) 和 (6.4.3) 
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式 称 为 Armijo - Goldstein 非 精 确 线性 搜索 准则 (Armijo - GoldStein inexact line 
search criterion) ,简称 Armijo - Goldstein 准则 , 它 是 由 Armijo(1966) 和 Goldstein 
(1965 ) 分 别提 出 的 . 把 满足 (6. 4. 2) 和 (6. 4. 3 ) 两 式 要 求 的 区 间 J, = [b,e] 称 为 
可 接受 区 间 ,J, 中 的 点 称 为 可 接受 步 长 . 
式 (6.4.2) 和 式 (6.4.3) 也 可 分 别 写成 
pA) < p(0) +pAep (0) ， (6.4.2a) 
P(Ai) >p(0) + (1 -pP)Aip (0). (6.4.3a) 
在 几何 上 , 它 表示 可 接受 步 长 A 是 使 p(A,) 位 于 两 直线 y=p(0) +pAip'(0) 和 
y=g(0) +(1-p)Ap'(0) 之 间 的 点 . 
算法 6 -6(Armijo - Goldstein 非 精 确 一 维 搜索 算法 ) 
Step 1 选取 初始 数据 . 在 搜索 区 间 [0,m ) (或 [0,A。] ) 中 取 定 初始 点 A。， 


计算 p(0) 和 8'(0) ,给 出 可 接受 系数 pe (0, 方 ) , 增 大 试探 点 系数 >1, 令 oo = 


0,bo。 =m( 或 A。s) ,k=0. 
Step 2 ”检查 下 降 量 要 求 . 计算 p(A,) , 若 
9p(Ai) < p(0) +pAip'(0), 
转 Step 3; 否 则 , 令 
i bt Ai 
转 Step 4. 
Step 3 ”检查 避免 探索 点 过 小 要 求 . 若 
pAi) = 9(0) + (1 -p)Aip'(0), 
停止 迄 代 ,输出 A, ,否则 , 令 
Gun = Ab := bes 
车 b,1 < % , 转 Step 4, 否 则 , 令 
Ai = aAisk:=k+1, 
转 Step 2. 
Step 4 选取 新 的 试探 点 . 取 


Qi + 和 si 


Ain = 7 
令 记 =k+1, 转 Step 2. 


图 6. 4. 2 给 出 了 该 算法 的 计算 框图 . 
6.4.2 ”Wolfe - Powell 非 精 确 一 维 搜索 方法 


如 图 6. 4. 1 所 示 ,Armijo - Goldsteim 准则 有 可 能 把 最 优 步 长 排除 在 可 接受 
区 间 外 面 , 为 此 ,Wolfe - Powell 给 出 了 一 个 更 简单 的 条 件 代替 (6.4.3a) 式 : 
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选取 初始 数据 : 
a=0, b=%~,4>0,0<p<1,a>1 
计算 p(0), wp'(0) 


输出 : 
4 为 可 接受 步 长 
图 6.4.2 Armijo - Goldstein 非 精 确 一 维 搜索 算法 框图 


Bind > ogidi,o <e (p,1), (6.4.4) 


pA) = 加 Fr + Adi)d, =o Vf(xr,)"d, 
= op'(0) > ¢'(0). (6.4.4a) 
在 几何 上 , 它 表示 可 接受 点 处 的 切线 的 斜率 pg'(A,) 应 大 于 或 等 于 初始 斜率 的 og 
倍 . 我 们 把 (6.4.2) 和 (6.4.4) 两 式 称 为 Wolfe - Powell 非 精 确 线性 搜索 准则 
( Wolfe - Powell inexact line search criterion) ,简称 为 Wolfe - Powell 准则 ,其 可 接 
受 区 间 为 J = Le,c]. 

算法 6 -7( Wolfe - Powell 非 精确 一 维 搜索 方法 ) 

Step 1 选取 初始 数据 . 在 搜索 区 间 [0,m ) (或 [0,A。 ] ) 中 取 定 初始 点 A。， 
计算 p(0) 和 9'(0) ,给 出 可 接受 系数 pe (0,1) ,cs (p,1), 增 大 试探 点 系数 a 
>1, 令 ao=0,5=m( 或 入 。.). 

Step 2 ”检查 下 降 量 要 求 . 计算 p(X,) , 若 

pA) < p(0) +pAsp (0) ， 
转 Step 3; 否 则 , 令 
Wi bi SA 
转 Step 4. 
Step 3 ”检查 避免 试探 点 过 小 要 求 . 计算 p'(A,) , 若 
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9 (At) > op (0) ， 
停止 欠 代 ,输出 和,; 否 则 , 令 
Gun = Mssbon = bss 
若 b,, < % , 转 Step 4; 否 则 , 令 
A 
转 Step 2. 
Step 4 选取 新 的 试探 点 , 取 


A 2 et bi 


2 
令 k= 上 +1, 转 Step 2. 
在 Wolfe - Powell 法 中 ,通常 建议 取 p =0. 1,0 e [0.6,0.8] ,a=2. 


6.4.3 简单 准则 与 后 退 法 


在 实际 中 有 时 仅 采 用 准则 (6.4.2) 式 ,并 要 求 和 不 太 小 . 我 们 把 仅 利用 准则 
(6.4.2) 式 的 做 法 叫做 简单 准则 . 利用 简单 准则 的 非 精 确 一 维 搜索 方法 称 为 后 
退 法 . 其 基本 思想 是 ,开始 令 A =1, 如 果 xs +Ad, 不 可 接受 , 则 减少 人 (后 退 ) ,一 
直到 xx + Ad 可 接受 为 止 . 

算法 6 -8( 后 退 法 ) 

给 定 pe 0, 于 ,0 <i<u<l. 

Step 1 邻 和 A=1. 

Step 2 ”如 果 

fxr + Ad) < fxs) +pAgid, 
则 令 A = 和 ,停止 迭代 ,输出 入,; 否 则 , 转 Step 3. 
Step 3 令 A:=wA,we[l,u], 转 Step 2. 


[ 习 题 六 ] 


1. 设 是 正定 二 次 函数 f(x) = Or+bir+e 的 极 小 点 ,p 是 Q 的 属于 特征 值 的 特 
征 向 量 ,= 于 +jpp(*#* 王 ) ,证 明 : 

(1) V/A) =pAp: 

(2) 从 二 出 发 , 沿 最 速 下 降 方向 作 精 确 的 一 维 搜索 ,一 步 达 到 极 小 点 式 

2. 设 /(zx) = Ox + bx +c 是 正定 二 次 函数 , 设 从 点 x 处 沿 搜 索 方向 di 作 一 维 精确 
线性 搜索 得 后 继 选 代 点 x,,, ,证 明 下 述 迭 代 公 式 

diQd, 
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3. 利用 进退 法 求解 
min 2A” ~ 3A， 
取 和 A。=0,h=1, 和 迭代 6 次 . 
4. 求解 min g(t) =e + 
(1) 用 0.618 法 ,要 求 缩短 后 的 区 间 长 度 不 超过 0.2, 初 始 区 间 取 [0,1]. 
(2) 用 Newton 切线 法 迭代 两 次 , 取 初 始点 t。=0. 
5. 用 二 次 插值 法 求解 
min p(t) = -21+1, 
取 初 始 搜索 区 间 [0,3] ,初始 插值 点 4 =1 ,人 允许 误差 为 0. 002. 
6. 证 明 Newton 切线 法 实际 是 一 点 二 次 插值 法 , 即 利用 一 点 4 处 的 函数 值 p(4,) 一 阶 导 
数值 p'(4,) 和 二 阶 导数 值 p"(4,) 构 造 二 次 插值 多 项 式 
yt) = ae +Bt+y, 
并 将 (+) 的 极 小 点 作为 新 选 代 点 二 
7. 设 P:R 一 R 可 微 , [ae ,和 ] 是 极 小 化 问题 min p(2) 的 搜索 区 间 ,构造 二 次 插值 多 项 式 
y(t) = ae +Bt+y, 
满足 条 件 
Pla) = Ya) ,pb) = yb) ,pa) = p'(a,). 
(1) 试 建立 一 个 用 yw(4) 在 [a,,6b,] 上 的 极 小 点 4., 作 为 p(4) 在 [a,,b,] 上 的 极 小 点 的 一 
个 近似 估计 的 一 维 搜索 方法 (二 点 二 次 插值 法 ) ,推导 出 2., 的 计算 公式 并 写 出 计算 步 又. 
(2) 说 明 割 线 法 也 是 一 种 二 点 二 次 插值 法 ,其 中 插值 多 项 式 所 满足 的 条 件 为 
plo) = Ya) ,pa) = ya) ,9 (b) = y'(b,). 
8. 在 Wolfe - Powell 法 中 ,给 出 一 个 采用 一 点 二 次 插值 法 求 新 试探 点 的 方案 ,并 给 出 
Wolfe - Powell 法 相应 的 计算 步 又 和 计算 框图 . 
9. 试用 Newton 切线 法 的 思想 给 出 求解 非 线 性 方程 /(x) =0 的 迭代 公式 . 取 初 始点 x*。= 
0, 用 该 迭代 公式 求 方程 e”=x 的 根 的 一 个 近似 值 . 


7 


第 七 章 无 约束 最 优化 的 解析 法 


无 约束 最 优化 问题 的 求解 方法 通常 称 为 无 约束 最 优化 方法 (unconstrained 
optimization method). 一 般 来 说 ,无 约束 最 优化 问题 的 求解 是 通过 一 系列 一 维 搜 
索 来 实现 的 . 因此 ,如 何 选 择 搜索 方向 是 无 约束 最 优化 方法 的 核心 , 且 不 同 的 搜 
索 方向 形成 不 同 的 最 优化 方法 . 本 章 介绍 无 约束 最 优化 方法 中 基本 的 并 且 主 要 
利用 目标 函数 的 解析 性 质 (包括 一 阶 导数 和 二 阶 导数 ) 来 构造 搜索 方向 的 一 些 
方法 ,这些 方法 统称 为 解析 法 (analytic method ) . 


7.1 最 速 下 降 法 


考虑 无 约束 最 优化 问题 
minf (x),， CT IY 

其 中 f:R" 一 R 具有 一 阶 连续 偏 导数 . 

人 们 在 处 理 这 类 问题 时 ,总 希望 从 某 一 点 出 发 ,选择 一 个 使 目标 函数 值 下 降 
最 快 的 方向 ,以 便 尽快 到 达 极 小 点 . 由 1.2 节 知 道 ,这 个 方向 就 是 该 点 处 的 负 梯 
度 方向 , 即 最 速 下 降 方向 . 

对 于 问题 (7. 1. 1) ,假设 已 尖 代 了 上 次 ,第 上 次 迭代 点 为 x,, 且 Vf(x) z*0， 
取 搜 索 方向 

d= -Vf(x). 
为 使 目标 函数 值 在 点 x 处 获得 最 快 的 下 降 ,可 沿 d 进行 一 维 搜索 . 取 步 长 为 
最 优 步 长 ,使 得 
fxs +Aid) =minf(re+Adi)， 
得 到 第 上 +1 次 迭代 点 
二 

于 是 ,得 到 点 列 rz ,za，…, 其 中 xn 为 初始 点 . 如 果 玉 了 (x) =0, 则 x 是 了 的 平 
稳 点 ,这 时 可 终止 迭代 - 

由 于 这 种 方法 的 每 一 次 迭代 都 是 沿 着 最 速 下 降 方 向 进行 搜索 ,因此 称 作 最 
速 下 降 法 (steepest descent method). 

算法 7 -1( 最 速 下 降 法 ) 
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Step 1 选取 初始 数据 . 选取 初始 点 x ,给 定 允 许 误差 = >0, 令 k=0. 

Step 2 ”检查 是 否 满足 终止 准则 . 计算 Vf(x,) ,车 上 Vf(x,) 1 <s, 迭 代 终 
止 ,x 为 问题 (7.1.1) 的 近似 最 优 解 ;否则 , 转 Step 3. 

Step 3 ”进行 一 维 搜索 . 取 d= -Vf 了 (x) , 求 和 A 和 zi 使 得 

fxs +Aidi) = minf (x +Ad.), 
Kir = 二 Ad 

令 且 = 有 +1, 返 回 Step 2. 

如 果 将 最 速 下 降 法 应 用 于 正定 二 次 函数 的 无 约束 最 优化 问题 


minf(z) = 了 xzrOr + bx +e, (7.1.2) 


其 中 xeR",Q eR" 为 正定 矩阵 ,be R",ceRR, 则 可 以 推出 显 式 迭 代 公 式 . 
设 第 上 次 迭代 点 为 xi, 从 点 乓 出 发 沿 - 玉 /(x,) 作 一 维 搜索 ,得 
xi = A VCO)， 
其 中 A, 为 最 优 步 长 ,根据 定理 6. 1. 1, 有 
VCGxD) Vf(x,) =0. 
又 因为 对 于 问题 (7. 1.2) 中 的 正定 二 次 函数 /, 有 
V/(x) =Qxr+b, VreR’, 
所 以 
VC =VAr) -MQ Vf,), 
从 而 
(Vf(x) -AQVACr)) Vf/(x,) =0. 
而 Q 正定 , 即 VA(x,)"Q Vf(x,) >0, 故 由 上 式 解 出 
VCr) Vf/(x,) 
NT) OV) Cea 
于 是 
Vf/(x) Vf(x) 
“Vf(x) QO Vx) 
这 是 最 速 下 降 法 用 于 问题 (7. 1.2) 的 迭代 公式 . 
例 7.1.1 用 最 速 下 降 法 求解 问题 
minf (x) =4x? +x?, (T7193) 
其 中 x= (zx,x,)". 取 初 始点 x。= (1,1)" ,允许 误差 e =0. 1. 
解 ” 问 题 (7.1.5) 中 的 f 是 正定 二 次 函数 , 且 


ol Yale 


f 在 点 x= (x ,za) 处 的 梯度 Vf(x) = (8z, ,2x,)". 


Ki = 


Vf(x). (7.1.4) 
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第 一 次 迭代 : 
令 搜 索 方 向 由 = -Vf(xo) =(-8,-2) ， 


la = V64+4=2 Vi7 >e， 
和 1.3) 式 和 (7.1.4) 式 有 


ho = 人 =0. 130 769， 


xi =(1,1)7+0.130769( -8, -2)" =( -0.046 152,0.738 462)". 
第 二 次 迭代 : 
令 di= -Vf(x,) =(0.369 216, -1.476 924)", 
ld, = V2.183 05 =1.522 375 > e， 
从 点 xi 出 发 沿 d, 作 一 维 搜索 , 按 (7. 1.4) 式 得 
x, =(0. 101 537 ,0. 147 682) 7. 
第 三 次 迭代 : 
令 d,= -Vf/(x) =( -0.812 296, -0.295 364) ， 
Nad, = V0.747 056 =0.864 329 > e， 
按 (7.1.4) 式 求 得 
x =( -0.009 747,0. 107 217)". 
第 四 次 和 迭代， 
令 d;= -VJ(r) =(0.077 976, -0.214 434) ， 
lla, || = V0.052 062 =0.228 171 > e， 
按 (7.1.4) 式 求 得 
x, =(0.019 126 ,0.027 816)7. 
第 五 次 迭代 : 
令 d,= -Vf/(x,) =( -0.153 008, -0.055 632)", 
1 d. = v0.026 506 =0. 162 807 > e， 
按 (7. 1.4) 式 求 得 
xs =( -0.001 835,0.020 195)7. 
此 时 , 1 YAF(r:) | = V0.001847 <e, 已 满足 精度 要 求 , 故 得 问题 (7. 1.5) 的 近 
似 最 优 解 
xs =( -0.001 835 ,0. 020 195)7. 
实际 上 ,问题 (7. 1.5) 的 最 优 解 为 =(0,0)". 0 
算法 的 收敛 性 由 下 面 的 定理 保证 . 
定理 7.1.1 设 /:R" 一 R 具 有 一 阶 连续 偏 导数 ,x。e R", 记 a =/(x。) ,假定 
水 平 集 S(/,a) 有 界 , 令 1x,| 是 由 最 速 下 降 法 求解 问题 (7.1.1) 产 生 的 点 列 , 则 
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(1) 当 1x,| 是 有 穷 点 列 时 ,其 最 后 一 个 点 是 /的 平稳 点 ; 
(2) 当 |x| 是 无 穷 点 列 时 , 它 必 有 极限 点 ,并 且 任 一 极限 点 都 是 /的 平 
稳 点 . 
证 明 (1) 当 ix,| 是 有 穷 点 列 时 ,由 最 速 下 降 法 的 终止 准则 可 知 ,其 最 后 一 
个 点 满足 Vf/(x) =0, 即 三 为 了 的 平稳 点 . 
(2) 当 |x,| 是 无 穷 点 列 时 ,有 
di= -Vf/(x) #0,k=0,1,2,., 
从 而 由 /在 点 xs 处 的 Taylor 公式 
Jr +Ad) =f(x) +AV/(x)d, +o(Ald,|) 
知 ,对 充分 小 的 入 >0, 有 
fxe tAds) =f x) -A V/A) ?+olA ld ) <f(x,). 
故 /(zis) =f (x + Aid) =minf (x +Ad) </(x,). 因此 
Fr) <f xo) =a,k=0,1,2,.. 
所 以 数列 f(x,) | 是 单调 减 小 的 ,上 且 |x,i CS(f,a) ,又 因 5S(f,a) 为 有 界 闭 集 , 故 
连续 函数 /在 5(f,a) 上 有 界 . 于 是 ,|/(x,)| 存 在 极限 , 记 
lim f(x) = 
根据 Bolzano - Weierstrass 定理 ,有 界 点 列 1x,| 必 有 极限 点 , 即 1x,1| 中 存在 
收敛 子 列 |x,.1 , 记 
dimx = 
由 /的 连续 性 知 
f= lim f(x) =/( limx,) =/ (7). (7.1.6) 
现在 用 反 证 法 证 明 WJF(EF) =0. 若 不 然 , -多 /() 关 0 ,对 充分 小 的 A >0, 有 
f(F-AVIf(E)) <f (x). 
由 于 
f x411) =f xi +Aidi) Sf (xi+Ad,) ,k=0,1,2,., 
因此 
f (x11) Sf x AV )) ,m=1,2,.. 
注意 到 /及 其 偏 导数 连续 , 故 令 m 一 。 ,有 
Sf<f(x -AVA(GE)) </()， 
此 与 (7.1.6) 式 矛盾 . 这 就 证 明了 V(X) =0, 即 * 为 /的 平稳 点 . 0 
所 谓 最 速 下 降 方 向 -f(x ) 仅 仅 反映 了 f 在 点 x 处 的 局 部 性 质 ,对 局 部 
来 说 是 最 速 下 降 方向 ,但 对 整个 求解 过 程 并 不 一 定 使 目标 值 下 降 得 最 快 . 事实 
上 ,由 定理 6.1.1 知 ,在 最 速 下 降 法 中 相继 两 次 迭代 的 搜索 方向 是 正 交 的 , 即 
VACr) Vf(x) =0， 
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由 此 可 见 , 最 速 下 降 法 逼近 极 小 点 三 的 路 线 是 锯齿 形 (zigzag) 的 , 当 和 迭代 点 越 靠 
近 , 其 搜索 步 长 就 越 小 ,因而 收敛 速度 越 慢 ( 见 图 7. 1.1). 


图 7.1.1 最 速 下 降 法 的 锯齿 现象 


下 面 我 们 证 明 最 速 下 降 法 仅 具 有 线性 收敛 速度 . 

定理 7.1.2 设 /:R" 一 RR 具有 二 阶 连续 偏 导数 ,由 最 速 下 降 法 解 问题 
(7.1.1) 产 生 的 点 列 |x,| 收敛 于 未 .车 存在 as>0 和 MM>m>0, 使 得 当中 x -| 
<g 时 ,有 

mlyl’<y Vi/(x)y<MIy ,VyeR", (7.1.7) 

则 1 线性 收敛 于 元 

在 证 明 这 个 定理 之 前 , 先 证 明 一 个 引 理 . 

引 理 7.1.3 在 定理 7.1.2 的 假设 条 件 下 , 当 上 x -大 | <e 时 ,有 


Dmlx-zl*</(x) -/(F) <TM |x-zl?, (7.1.8) 
VCr) | =mlx -zl. (7.1.9) 
证 明 由 于 /具有 二 阶 连续 偏 导 数 , 记 p =x -x, 由 此 有 
Jo) fC = | Stip) = VIE+ip) pd -0 


= OV) pl (1D)dV/(z+p)p] 


=V/(x)'p+ 上 (1 -bp Vif(x+tp)pdt, 
由 定理 7.1.1 知 罗 f(x) =0, 故 得 
f(x) -F(E) = [ (1 -2)(x-x)" Vf(tr+(1 -tx)(x -x)dt. 

(7.1.10) 

设 ‖z -| <e, 则 由 0<t<1 易 知 , | + (1 一 )- <e, 从 而 由 (7.1.7) 

式 有 

mx-xl’<(x-a)" V(r+(1 -Fi)(r-7) MI|x -rl’, 

(7.1.11) 


根据 (7. 1. 10) (7. 1. 11) 两 式 即 得 (7. 1.8) 式 . 
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同 理 可 得 
VI EVI) VIE) = 人 Vet) (ra)d, 
于 是 ,由 Cauchy 不 等 式 及 (7.1. 11) 式 知 
1VAGz)1 1z-zl>(z-z Vf(x) 
= [ (rz -FE)TVzF(zr+(1-DE)(r-E)dtm|z- 下 | 2. 
这 就 证 明了 (7. 1.9) 式 . 
定理 7.1.2 的 证 明 因为 jimxk = 五 ,所 以 不 妨 假定 : 
zk -FN <e,k=0,1,2,.. 
由 于 x, -| <e, 因 此 存在 5>0, 使 
Nx + (A +6)d, -x = ‖ xi -T+6d, | <e. 
考虑 函数 p(A) =f(x,+Ad), 则 由 d= -Vf(x,) 知 : 
p'(0) =V/(x)"d, <0， 
P(A) =Vf (x +Ad,)d, =0, 
p"(A) =d: Vf (x +Ad,)d,<M | ad, |*. 
记 y(A) =p(0) +M 1 di 12A, 它 有 惟一 零点 


0 
”Ma 

于 是 
p'(A) =p'(0) + [ er(Ddse'(O+ | Ma ld 
=p"(0) +M | a, | A=y(A). 
上 式 说 明 ,函数 p'( 和 ) 的 图 像 总 是 在 (和) 


的 图 像 之 下 ( 见 图 7.1.2), 从 而 wp(A) 的 平 
稳 点 A, 满足 


~ _ -9p'(0) drd, 
A = = = 
Me 


令 云 =zi+ 筷 d, 显 然 有 


Mx 一元 上 大 lx +Ad -zl <e, 


于 是 ,仿照 引 理 7. 1. 3 的 证 明 可 得 


图 7.1.2 "(A) 与 (和) 的 关系 
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fx + hidi) -f (x2) Sf (xs + Rds) -f (xs) 
=X Vf(x) ad, + 人 (1 -ar Vif(x, +tNd,) dd 
CAAA 
ai La 
TM? 2M 
A 
本 2M 
从 而 由 (7.1.9) 和 (7. 1.8) 两 式 得 
fm) -AGzDs- 踊 lis-( 吕 MGc) -1(z)]， 
即 知 
/m0) -AD <[1-( 品 ) J -7(1， 
条 


2 
o-[-( 别 站 
显然 gs (0,1) , 故 有 
fx) -fF) EPL) -fF)) < 
<0°[f (x) -/(1)], 
由 (7.1.8) 式 得 


x, 21 < -fF)] < 0) -fF) 0, 
即 

I -zl /EU C0) -C5) Ie0, 
其 中 9<1. 这 就 证 明了 |x.| 线 性 收敛 于 未 


7.2 Newton 法 


为 了 寻找 收 倒 速 度 快 的 无 约束 最 优化 方法 ,我 们 考虑 在 每 次 迭代 时 ,用 适当 
的 二 次 函数 去 近似 目标 函数 ,并 用 迭代 点 指向 近似 二 次 函数 极 小 点 的 方向 来 构 
造 搜索 方向 ,然后 精确 地 求 出 近似 二 次 函数 的 极 小 点 ,以 该 极 小 点 作为 了 的 极 小 
点 的 近似 值 . 这 就 是 Newton 法 的 基本 思想 , 它 是 6.3.1 节 中 Newton 切线 法 的 


推广 . 
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假定 问题 (7. 1. 1) 中 的 目标 函数 /具有 二 阶 连 续 偏 导数 ,zx 是 了 的 极 小 点 的 
第 次 近似 ,将 /在 点 x 处 作 Taylor 展开 ,并 取 二 阶 近似 ,得 


(rz) px) fx) + VCs) Te) + 半 ( Vf ) (x -an)， 


由 假设 条 件 知 ,V*f(x,) 是 对 称 矩 阵 ,因此 g(x) 是 二 次 函数 . 为 求 p(x) 的 极 小 
点 ,可 令 VWep(r) =0, 即 
Vf(x) + Vf/(x) (x -x,) =0. 
车 /在 点 x 处 的 Hesse 矩阵 V(x) 正定 , 则 上 式 解 出 的 p(x) 的 平稳 点 就 是 
P(x) 的 极 小 点 . 以 它 作为 了 的 极 小 点 的 第 上 +1 次 近似 , 记 为 x,,, , 即 
in = [VA(x)] V(x,). (7.2.1) 
这 就 是 Newton 法 的 迭代 公式 ,其 中 
di= -[VI/(x)] V(x,) 
称 为 Newton 方向 . 它 是 第 k+1 次 迭代 的 搜索 方向 , 且 步 长 为 1. 
因 VY/(x,) 正 定 , 故 [VY(x)] "正定 ,从 而 
Vfx) d= -VICx) [VCE)] Vf(x) <0， 
所 以 由 定理 1.2.3 知 ,di 为 /在 点 x 处 的 下 降 方向 . 

算法 7 -2(Newton 法 ) 

Step 1 选取 初始 数据 . 选取 初始 点 xo ,给 定 允 许 误差 e >0, 令 上 =0. 

Step 2 ”检验 是 否 满足 终止 准则 . 计算 yf/(x,) ,车 上 VfA(x,) 1 <e, 和 迭代 终 
止 ,zx 为 问题 (7.1. 1) 的 近似 最 优 解 ;否则 , 转 Step 3. 

Step 3 ”构造 Newton 方向 . 计算 [V(x)]”, 取 

di= - [V(x)] Vx). 

Step 4 求 下 一 个 迭代 点 . 令 

Xin =X +d ,k=k+1, 
返回 Step 2. 

我 们 知道 ,正定 二 次 函数 的 无 约束 最 优化 问题 (7.1.2) 的 全 局 极 小 点 为 
= -Q@- 6. 因此 ,如 果 对 问题 (7. 1.2) 用 Newton 法 迭代 ,从 任 一 点 x。e R" 出 发 ， 
可 得 

xi =x0 -QVf(x) =x0 -0 '(Qro+b)= -0 b=E, 

即 一 次 迭代 就 可 得 到 全 局 极 小 点 . 这 说 明 ,Newton 法 具有 二 次 终止 性 . 

例 7.2.1 用 Newton 法 求解 问题 (7. 1. 5) , 仍 取 初 始点 x。= (1,1) ,人 允许 误 
差 &=0.1. 

8 0 


解 V0) = 8.2) ,v7 (0) =[0 > 


] 履 
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1/8 0 
[Vf (x0) 1 =| 


I =- ] 
x =x0+d =(1,1)" -(1,1)" =(0,0)". 
因 上 Vf(x,) 1 =0<0.1, 故 选 代 结束 ,得 x 为 问题 (7.1.5) 的 最 优 解 . 0 
这 个 例子 说 明 , Newton 法 要 比 最 速 下 降 法 收敛 快 . 事实 上 ,下 述 定理 表明 
Newton 法 是 二 阶 收敛 的 ,该 定理 是 定理 6. 3. 1 的 一 个 推广 . 
定理 7.2.1 设 /:R*" 一 RR 具有 三 阶 连续 偏 导 数 ,Fe R",V f(x) =0, 若 存在 
ea>0 和 m>0, 使 得 当 上 x -天 | <s 时 ,有 
mlyl’<y VI/(x)y, VyeR’, (12:2) 
则 当初 始点 x。 充分 接近 三 时 ,由 Newton 法 解 问题 (7.1. 1) 产 生 的 点 列 |x| 收敛 
于 ,并 有 二 阶 收敛 速度 . 
证 明 由 (7.2.2) 式 知 , 当 上 x -El <e 时 ,Vf(x) 为 正定 矩阵 , 且 对 一 切 
yeR", 有 


ICV2AGz)] 1 < LV VL VI) 


-TV ys ly Vx) 1， 
即 当 |x-zl<s 时 ,有 
NV) yl < ly ,Vy eR 


由 V/(x) 的 连续 性 及 VW/(z) =0 知 , 必 存 在 e'e (0,e/2) ,使 得 | -| <e 
时 ,有 
1V/(x) 1 < 宇 . 
这 意味 着 : 当 | x -| <e' 时 ,有 
x -EN = x VA) Vf) -zl 
< lx -zl + [V/A] V/A 1 
1 .me 


本 沪 
i 


因 x 充分 接近 天, 故 可 设 
1 zk -| <a',k=0,1,2,.. 
我 们 知道 
Ns -EL VG TVA) Vf) ~ VS) FI 
<ENVIE) -VI -VIE) Ex) 1 (7.23) 


考虑 向 量 函 数 p(x) = 了 (x) 的 第 1 个 分 量 pg,(x) 在 点 x 处 的 Taylor 展开 式 
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px) pK) +V PAK) Tx) + (x) Vpi(£) (x -x1), 


其 中 吝 =x, +0(x -x,),0<9<1. 于 是 
VAG) -Vf/(x) -Vf (x) (x) 
(x) Vip(£)(F-x,) 
_1| (Fz-x)" Vipi,(£)(z-x,) 


2 (7.2.4) 


(元 -xz) Vip,(£)(F-x) 
注意 到 V?p,(#%) 的 第 i 行 第 j 列 元 素 为 
Fp(#) _ Pf) 
EE 
因为 1/ 具有 三 阶 连续 偏 导数 ,所 以 /的 三 阶 偏 导 数 在 | x -| <s 上 有 界 , 从 而 
存在 B >0, 使 得 当 上 x -| <s 时 ,有 
Vip(x) | <B,l=1,2,.,n. 
而 =x, +0( 庆 -x,) 且 x -无 | 志 a', 故 上 于 -二 上 6, 易 知 
lVip(#) | <B,l=1,2,,n. 


于 是 ,由 (7.2.4) 式 有 
MV/CGE) -VIE) -Vf x) (FE-x) 有 


= [Ex)" Vip(#) (zs-x)] 


<np x 
因此 ,由 (7.2.3) 式 知 


Nx. -xl < | x #0 2 (7.2.5) 


记 y = >0, 则 
| ze -zl <y lx -Fl < 


EA A -ll)”， 


所 以 , 取 0 <8< 方 , 当 1 xs -这 | <5 时 , |x| 收敛 于 ,并 且 由 (7.2.5) 式 知 其 具 


有 二 阶 收敛 速度 . 0 

由 定理 7.2.1 可 知 ,当初 始点 re 靠近 极 小 点 时 ,Newton 法 的 收敛 速 度 是 

很 快 的 . 但 是 , 当 x 远离 时 ,Newton 法 可 能 不 收敛, 甚至 连 下 降 性 也 保证 不 了 . 
和 


其 原因 是 :迭代 点 x;,, 不 一 定 是 目标 函数 /在 Newton 方向 d 上 的 极 小 点 . 下 面 
的 例子 就 说 明了 这 一 点 . 
例 7.2.2 用 Newton 法 求解 下 面 问题 : 
minf (x) = (1—x,)* +2(z —x?)”, (7.2.6) 
其 中 x=(%,x,)", 取 初始 点 x。= (0,0) ,允许 误差 =0.1. 
-2(1—x,) -8(x, | 


Vv = 
人 | 4 0) 


wor 人 | 
xX)= 9 


-8x, 4 
故 Vf(xo) =( -2,0)", | Vf(xo) | =2>e， 
2 0 1/2 0 
vx) -=[。 sv) =[。 1 
于 是 ,Newton 方向 
do = —[Vf(x)] Vf/(x) =(1,0)", 
xi =xo +do =(1,0)". 

但 f(xo) =1,f(x,) =2>F(xro), 即 知 和 迭代 后 未 使 目标 函数 值 下 降 ,反而 使 目标 
函数 值 上 升 . 0 

为 了 弥补 Newton 法 的 上 述 缺 陷 , 人 们 把 Newton 法 作 了 如 下 修正 :由 x, 求 
x 时 ,不 直接 用 迭代 公式 (7.2.1) 而 是 沿 Newton 方向 di 进行 最 优 一 维 搜索 . 这 
样 就 是 所 谓 的 阻尼 Newton 法 (damped Newton method). 

算法 7 -3( 阻 尼 Newton 法 ) 

Step 1 ”选取 初始 数据 . 选取 初始 点 xo ,给 定 允许 误差 a >0, 令 k=0. 

Step 2 ”检验 是 否 满足 终止 准则 . 计算 VJA(zi) ,车 Vf(xi) 1 <e, 选 代 终 
止 ,x; 为 问题 (7.1.1) 的 近似 最 优 解 ;否则 , 转 Step 3. 

Step 3 ”构造 Newton 方向 . 计算 [V21(xi)] …, 取 

d= -[V/(x)) VA). 
Step 4 ”进行 一 维 搜索 . 求 Ag 和 x,,, ,使 得 
fxr+Aidi) =minf (x +Adi), 
Nis 二 Ad 

令 上 =k+1, 返 回 Step 2. 

下 面 的 定理 指出 ,阻尼 Newton 法 具有 全 局 收敛 性 

定理 7.2.2 设 /:R* 一 R 具有 二 阶 连续 偏 导数 ,x。e R", 记 a =/(x。) ,假定 
水 平 集 S(/,a) 有 界 , 并 上 且 对 一 切 xe R",V*f(x) 正 定 . 若 ix,| 是 由 阻尼 Newton 
法 求解 问题 (7. 1.1) 产 生 的 点 列 , 则 
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(1) 当 ixi} 是 有 穷 点 列 时 ,其 最 后 一 个 点 必 是 /的 惟一 极 小 点 ; 
(2) 当 ix,} 是 无 穷 点 列 时 , 它 必 收 敛 于 f 的 惟一 极 小 点 . 
证 明 因为 /具有 二 阶 连续 偏 导数 , 且 对 一 切 xe RR*,V2f(x) 正 定 ,所 以 由 
定理 3.1.3 知 ,的 平稳 点 必定 是 /的 惟一 全 局 极 小 点 . 
仿照 定理 7.1.1 的 证 明 可 知 ,总 存在 ze R", 使 了 (x) =0, 由 前 知 ,x 为 /的 
惟一 极 小 点 . 从 而 定理 得 证 . 0 
例 7.2.3 用 阻尼 Newton 法 求解 问题 (7.2.6) , 仍 取 初 始点 x。= (0,0)", 允 
许 误差 a =0. 1. 
解 第 一 次 迭代 : 
由 例 7.2.2 知 ,Newton 方向 d= (1,0)", 从 x 出 发 沿 由 作 一 维 搜索 , 即 求 
minf (xo + Ado) =min(1 -A)’ +2A° 
的 最 优 解 ,得 到 和 A。=1/2. 令 
x =F0 +Aodo = (1/2,0)", 
V/(x)=(0,-1)", | V/(x) 1 =1>e. 
第 二 次 迭代 : 


8 -41 ， 1 1 
Ye- ye 下 
di=-[Vf(x)] Vf(x) =(1/4,1/2)". 

从 xz 出 发 , 沿 d, 作 一 维 搜索 , 即 求 
min f(xy +Ad) = mins[8(2 -A)? + (2 -A)’] 
的 最 优 解 , 得 到 A =2. 令 
za =xi+Ad =(1,1)". 
此 时 
Von) =(0,07,1VA(n)1 =o0<e 
得 问题 (7. 2. 6) 的 最 优 解 为 x, = (1,1)7, 这 是 惟一 的 最 优 解 . 0 


7.3 共 三 梯度 法 


最 速 下 降 法 和 Newton 法 是 最 基本 的 无 约束 最 优化 方法 ,它们 的 特性 各 异 
前 者 计算 量 较 小 而 收敛 速度 慢 ; 后 者 虽然 收敛 速 度 快 ,但 需要 计算 目标 函数 的 
Hesse 矩阵 及 其 逆 矩 阵 , 故 计 算 量 大 . 本 节 介 绍 一 类 无 需 计 算 二 阶 导数 并 且 收 敛 
速度 快 的 方法 . 
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7.3.1 共 斩 方向 法 


定义 7.3.1 设 QeR ”为 正定 矩阵 . 若 R 中 的 向 量 组 d。,d,,…,d, 
满足 


ml 


diQd, =0, Vi,j=0,1,.,m -1,izx)j, (7.3.1) 
则 称 d。,d,,…,d, ,是 Q 共 鸭 (conjugate). 
当 Q = 了 为 单位 矩阵 时 , 则 (7. 3. 1) 式 变 为 
did) =0, Vi,j=0,1,",m-1,izj, 
即 向 量 组 do ,d,,… ,d。 ,是 正 交 的 (orthogonal). 
由 此 可 知 , 共 示 是 正 交 概念 的 推广 . 
定理 7.3.1 设 QeR" 是 正定 矩阵 ,R" 中 非 零 向 量 组 do,d,,…,d,_, 是 Q 
共 却 的 , 则 这 m 个 向 量 线性 无 关 . 
证 明 若 存在 实数 4,t,,… ,1。-, ,使 


> 5d=0， 
用 diQ 左 乘 上 式 并 注意 到 
d'Qd, =0, Vi,j=0,1,,m-1,ixj, 
得 到 
tidiQd, =0,i=0,1,…,m-1. (7.3.2) 
但 @ 是 正定 矩阵 , 且 d;z#0,i=0,1,…,m-1, 故 
d'Qd, >0,i=0,1,.…,m-1. 
从 而 ,由 (7.3.2) 式 知 :t=0,i=0,1,…,m 一 1, 即 do,d,，,…,d,-, 线 性 无 关 . 口 
定理 7.3.2 设 PeR' ,do,d,…,d,-, 是 R 中 线性 无 关 的 向 量 组 , 若 p 与 每 
个 d, 都 正 交 , 则 p =0. 
证 明 因为 d,,d,,…,d,_, eR" 且 线 性 无 关 , 所 以 它们 构成 R" 的 一 组 基 , 从 
而 peR" 可 以 表示 为 它们 的 线性 组 合 , 即 存在 一 组 实数 jo,t,，,… ,1,-, ,使 


p= > tad,. 
由 p'p=p™ 5 di = by tp"d; =0, 即 知 p =0. 0 
名 名 
考虑 正定 二 次 函数 的 无 约束 最 优化 问题 
winf(x) = 了 TerOr Hz te， (7.3.3) 


其 中 QeR"” 为 正定 矩阵 , ER ,ceR. 
问题 (7. 3.3) 有 惟一 的 严格 全 局 最 优 解 = - CQ 5, 下面 我 们 不 求 2 ,而 
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是 用 迭代 的 方法 求 问题 (7. 3. 3) 的 最 优 解 . 
当 n=2 时 , 任 选 初始 点 ze, 沿 /在 点 ze 处 的 某 个 下 降 方向 由 做 最 优 一 维 搜 
索 ,得 到 x,, 从 而 
Vf(x,)'d, =0. (7.3.4) 
如 果 再 沿 最 速 下 降 方 向 -Vf(x, ) 去 搜索 ,就 会 发 生 锯齿 现象 . 为 了 避免 这 种 现 
象 的 出 现 ,我 们 希望 下 一 次 迭代 的 搜索 方向 d, 直 指 正定 二 次 函数 /的 最 优点 于 ， 
即 有 
FE=x, +Ad. (97.3.3) 
显然 ,当主 x, 时 ,和 ;天 0, 由 三 为 了 的 极 小 点 知 
0=V/(x) =Qr+b. 
把 (7.3.5) 代 入 上 式 , 并 注意 到 Vf(x,) =Qx, +5b, 得 
Vf/(x,) +A,Qd, =0. 
上 式 两 端 左 乘 四 ,由 (7.3.4) 式 及 A, 关 0 有 
d’Qd, =0. 
这 就 是 说 ,为 使 由 直 措 ,d, 必须 与 d, 是 8 共 思 e 的 . 
综 上 所 述 ,对 于 问题 (7.3.3), 当 n=2 时 ,从 任 选 初始 点 x。 出 发 , 沿 任意 下 
降 方向 d。 作 一 维 搜索 得 x, ,再 从 点 x， 出 发 , 沿 d。 的 Q 共 思 方向 d 作 一 维 搜索 
所 得 的 x 必 是 极 小 点 这 , 即 两 次 迭代 就 得 到 了 最 优 解 . 一 般 地 ,我 们 有 
定理 7.3.3 设 QesR'” 为 正定 矩阵 ,do,d ,…,d., :是 R" 中 一 组 8 共 轿 的 
非 零 向 量 . 对 于 问题 (7. 3.3) , 若 从 任意 点 x。e R" 出 发 依次 沿 do,d,,…,d,-, 进 
行 一 维 搜索 , 则 至 多 经 过 n 次 迭代 可 得 问题 (7. 3. 3 ) 的 最 优 解 . 
证 明 对 于 问题 (7.3.3) , 设 从 x。 点 出 发 依次 沿 方向 d ,d ,… ,d, ,进行 一 
维 搜索 产生 的 迭代 点 是 
Kor = + Asdi =0,1 -1， (7.3.6) 
其 中 入 使 
fx +t Aidi) = miny(zt + Adi). 
由 Vf/(x) =Qx +b 和 (7.3.6) 式 知 
V(x) = Vf (x) +AQd, ,k=0,1,.,n -1. 
反复 利用 上 式 知 


Vx) = V(r) + > NOdJ=01 
从 而 
Vix) d= V(r) "d+ DAid: Qd,j=0,1,,k 


因为 d。,d,,…,d.-, 是 Q 共 思 的 ,所 以 
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Vf(xi)d, =V/(x)"d, +Ad)Qd, 
=[V/(x) +A,Qd,]"d,, 
即 知 
Vf(xin) d=V/(r.) "dj=0,1,.,k (7.3.7) 
另外 ,由 于 入 是 一 维 搜索 的 最 优 步 长 ,因此 
Vans) Id =0J=0,1…n-1. 
于 是 ,由 (7. 3.7) 式 知 


Vf(xi) rd=0E=0,1n-17=0,1 ,大 (7.3.8) 
特别 地 , 当 上 =mn -1 时 ,有 
VCr)rd=0J=0,1 mm-1. (7.3.9) 


因为 由 ,di ,四 ,是 一 组 8 共 思 方 向 ,所 以 由 定理 7.3.1 知 , 它 们 是 线性 无 关 
的 . 从 而 由 (7.3.9) 式 及 定理 7.3.2 知 ,VJ(zr,) =0, 即 知 x, 是 问题 (7.3.3) 的 
最 优 解 . 

这 说 明 ,至 多 经 过 n 次 迭代 必定 得 到 (7.3.3) 的 最 优 解 . 0 

通常 ,我 们 把 从 点 x。e R" 出 发 ,依次 沿 某 组 共 示 方向 进行 一 维 搜索 来 求解 
无 约束 最 优化 问题 (7. 1. 1 ) 的 方法 称 为 共 示 方 向 法 (conjugate direction method). 

算法 7 -4( 共 罗 方 向 法 ) 

给 定 一 个 正定 矩阵 Q eR"*. 

Step 1 选取 初始 数据 . 选取 初始 点 ro ,给 定 允 许 误差 a > 0. 

Step 2 ”选取 初始 搜索 方向 . 计算 入/(xo) , 求 出 do, 使 V(xo)"d。<0, 令 
k =0. 
Step 3 ”检查 是 否 满足 终止 准则 . 若 1 Vy(rz) | <e, 和 迭代 终止 ;否则 , 转 
Step 4. 

Step 4 ”进行 一 维 搜索 . 求 出 和 A 和 zu.: ,使 得 

f(x +Adi) = minf (x +Ad,) 
Tint = + Ad,. 
Step 5 ”选取 搜索 方向 . 求 d,,, 使 
di,,Q4d, =0,j=0,1,.…,k. 
令 k=k+1, 返 回 Step 3. 

如 果 用 共 轿 方向 法 求解 正定 二 次 函数 的 无 约束 最 优化 问题 (7.3.3) (此 时 
算法 中 的 正定 矩阵 应 与 二 次 函数 的 正定 矩阵 一 致 ) ,那么 容易 推出 迭代 公式 为 
Vf(x) ad, 

diQd, 
并 且 由 定理 7.3.3 知 , 经 过 有 限 次 迭代 可 以 得 到 最 优 解 , 即 知 共 思 方向 法 具有 二 
次 终止 性 . 
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d,. (7.3.10) 
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7.3.2 共 箔 梯度 法 


在 共 斩 方向 法 中 ,如 果 取 初始 的 搜索 方向 
d,= -Vf(xo), 

而 以 下 各 共 思 方 向 d, 由 第 次 迭代 点 的 负 梯 度 -Vf(x,) 与 已 经 得 到 的 共 红 方 
向 di_, 的 线性 组 合 来 确定 ,这 样 就 构造 了 一 种 具体 的 共 思 方向 法 . 因为 每 一 个 共 
亏 方向 都 依赖 于 迭代 点 处 的 负 和 梯度 ,所 以 称 之 为 共 示 梯 度 法 (conjugate gradient 
method ) . 

先 针对 问题 (7. 3. 3 ) ,给 出 共 罗 梯 度 法 的 推导 . 

给 定 初始 点 x。e R" , 取 初 始 搜索 方向 


d=-VAro)， 
从 x 出 发 , 沿 由 进行 一 维 搜索 ,得 迭代 点 ,以 下 按 
人 = VC ) +aad =0,1 人 -2 


来 构造 搜索 方向 ,a, 的 选取 应 使 所 产生 的 履 ,, 与 di 是 @ 共 思 e 的 . 因为 
dd = -Vf(xi,) 7Od + adiQd,, 

且 要 使 di ,与 d, 是 Q 共 国 ,应 有 di,,Qd, =0, 所 以 

_V/f(x,)'Qd, 


a lt k=0,1,..,n -2. 
d.Qd, 
于 是 ,得 到 n 个 搜索 方向 d,,d,,…,d, ,如 下 : 
do= -V/(xo), 


di = -Vf ) +ad,, 
_V/(x.) Qad, 
diQd, . 
定理 7.3.4 由 (7.3.11) 式 构造 出 来 的 d,,d,,…,d,_, 是 一 组 8 共 思 方 向 . 
证 明 要 证 diQd, =0,0<i<j<n-1. 对 j 用 归纳 法 . 
当 j=1 时 ,由 ao 的 定义 知 dsQd, =0. 假设 当 j<k 时 ,diQd, =0(0<i< 
jk) ,下 面 证 明 


(7.3.11) 


a 


diQd,., =0,0<i<k. 
车 i=k, 则 由 (7.3.11) 式 知 


dd = AQ VI ) + Wx) Oodarod -0. 


dQd, 
车 i< 上 ,由 归纳 假设 ,d。 ,d,,… ,d, 是 一 组 0 共 二 方 向 ,于 是 
diQdis = -EVA tadiQd, = -dQ Vf/(x.), (7.3.12) 


由 于 xi,, =xi+Aid;, 且 和 ;>0, 因 此 
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代入 (7.3. 12) 式 得 
dQdiy = -V/s)"Qd, = -LVI ) Qs x,) 


= -V/V Vf)), (07.3.13) 


由 (7.3.11) 式 知 ,Vf(x,) = -di +ai di ,从 而 由 (7.3.8) 式 知 ,对 一 切 i=1， 
2,…, 必 ,有 
VR) VK) = -Vf(xi) di ta Vf(x,) d=0. 
而 i=0 时 ,由 (7.3.8) 式 知 
Vx) Vf(x0) = -Vf(x,,)"d, =0. 
因此 ,由 (7.3.13) 式 有 di’Qd,,, =0(i<k). 0 
用 共 二 梯 度 法 求解 问题 (7.3.3) 时 ,从 点 x, 出 发 沿 d, 进行 一 维 搜索 得 到 的 
迭代 公式 为 (7.3. 10) , 即 知 最 优 步 长 
人 -= -YAGrD) 
“dQd, 
于 是 ,由 (7.3. 11) 中 的 第 2 式 有 
_V/(x)"( —Vf(x) +od,.1) 
dQd, 
_V/Cx) VIR) -oa Vf (rx) dh 
dQd, . 


A, = 


即 
_V/Cx)T Vr) 
dod 
这 就 是 用 共 罗 梯 度 法 求解 问题 (7. 3.3) 时 最 优 步 长 的 表达 式 . 
为 了 把 共 季 梯度 法 用 于 求解 问题 (7. 1. 1) ,我 们 必须 设法 消失 (7.3. 11) 的 
第 3 式 中 的 矩阵 Q, 因 为 

Vyrtrs) = V/s) +AiQd,, 


(7.3.14) 


所 以 
Qa = LVI) -YA(r))， 


代入 (7.3.11) 中 的 第 3 式 即 可 消去 ,得 
VSR) Vf) -7(z)] 
dv) -Vx)] 
它 取 不 同形 式 , 就 得 到 求解 问题 (7. 1. 1) 的 不 同 的 共 思 梯度 法 . 
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根据 (7. 3.8) 式 ,有 
V7ACr)rda =0， 
VfCx) ad, = -Vf(x) Vf(x) t+ar Vf rx)"d,, 
= -Vf/(x) V/(x,), 
VAR) VAR) = Vf) di +o V(r.) "d=0, 
由 此 可 得 : 
(1) Fletcher - Reeves 公式 (简称 FR 公式 ) 
a AACTH DA 1 ， 
1VACza 
(2) Dixon - Myers 公式 (简称 DM 公式 ) 
VR) VI) 
di V/(x) 
(3) Polak - Ribiere - Polyak 公式 (简称 PRP 公式 ) 
_VACrD [Vf Cx) -V(x)] 
人 VAGr) 7 Vf(x,) 
根据 a 的 上 述 三 种 形式 ,可 分 别 给 出 FR 共 轰 梯度 法 .DM 共 力 梯度 法 和 PRP 共 
示 梯度 法 . 对 于 目标 函数 是 正定 二 次 函数 的 无 约束 最 优化 问题 (7. 3.3) 和 最 优 
一 维 搜索 ,这 些 方法 是 完全 等 价 的 . 但 是 ,对 于 目标 函数 是 非 二 次 函数 的 无 约束 
最 优化 问题 (7. 1. 1) ,它们 所 产生 的 搜索 方向 是 不 同 的 . 
需要 指出 的 是 ,由 于 R" 中 共 二 方向 最 多 有 n 个 ,因此 在 用 上 述 三 种 方法 求 
解 目标 函数 为 非 二 次 函数 的 无 约束 最 优化 问题 (7.1.1) 时 ,在 n 步 之 后 构造 的 
搜索 方向 不 再 是 共 堪 的 ,从 而 降低 了 收敛 速度 . 克服 的 办 法 是 重 设 初始 点 , 即 把 
经 过 n 次 迁 代 得 到 的 x, 作为 初始 点 重新 迭代 . 
算法 7 -5(FR 共 思 梯度 法 ) 
Step 1 选取 初始 数据 .选取 初始 点 x。, 给 定 允 许 误差 = > 0. 
Step 2 ”检查 是 否 满足 终止 准则 . 计算 Vf/(xo) ,车 Vf(x。) | <e 迭代 终 
止 ,ze 为 (7.1.1) 的 近似 最 优 解 ;否则 , 转 Step 3. 
Step 3 ”构造 初始 搜索 方向 . 计算 d。 = -Vf(xo) ,k=0. 
Step 4 ”进行 一 维 搜索 . 求 出 A 和 ri, ,使 得 
f(x + Aidi) =minf (x +Adi), 
Ki =X + ALd,. 
Step 5 ”检查 是 否 满足 终止 准则 . 计算 Vf(xi,1), 若 上 Vf(xi,1) 1 <e, 近 
代 终 止 ,zi,, 为 (7.1.1) 的 近似 最 优 解 ;否则 , 转 Step 6. 
Step 6 ”检查 和 迭代 次 数 . 若 上 + 1 =n, 令 xo:=x,, 返 回 Step 3; 否 则 , 转 Step 7. 
Step 7 ”构造 共 罗 方向 . 用 FR 公式 取 


at = 


Ge 
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1VACzD) 1 
di = -WOr) +asd as 2 Bf 
令 上 =k+1, 返 回 Step 4. 
如 果 算 法 7 -5 的 Step 7 中 a 的 形式 改 为 DM 公式 或 PRP 公式 , 则 分 别 得 
到 DM 共 因 梯度 法 和 PRP 共 示 梯 度 法 . 
由 于 共 琵 梯度 法 的 迭代 过 程 中 包含 有 最 速 下 降 法 的 迭代 步骤 ,因此 在 较 弱 
的 条 件 下 会 保证 共 示 梯 度 法 的 收敛 性 . 
定理 7.3.5 设 /:R" 一 RR 具有 一 阶 连续 偏 导 数 ,x。e R", 记 a =/(x。), 并 假 
设 水 平 集 5S(f,a) 有 界 . 若 |x,1 是 由 共 思 梯度 法 (包括 任何 一 种 仅仅 与 算法 7 -5 
中 ak 的 形式 不 同 的 共 罗 梯度 法 ) 解 问题 (7.1. 1) 所 产生 的 点 列 , 则 
(1) 当 |x,| 是 有 穷 点 列 时 ,其 最 后 一 个 点 是 /的 平稳 点 ; 
(2) 当 1x,| 是 无 穷 点 列 时 , 它 必 有 极限 点 ,并 且 其 任 一 极限 点 都 是 /的 平 
稳 点 . 
证 明 (1) 当 ix,1 是 有 穷 点 列 时 ,由 算法 7 -5 的 终止 条 件 可 知 ,其 最 后 一 
个 点 于 满足 V(x) =0, 即 是 /的 平稳 点 . 
(2) 当 |x,| 是 无 穷 点 列 时 , 则 
Vf/(x) #0,d, #0,k=0,1,2,.. 
因为 x 是 从 点 x- 出 发 沿 d,-, 进 行 最 优 一 维 搜索 得 到 的 ,所 以 
Vf(r)d,., =0. 
从 而 
Vf/(xi) vd, =V/(x) -Vf(x) +aid 
= -Vf/(x)" Vf(x,) <0， 
即 d 为 /在 点 x 处 的 下 降 方 向 . 而 x =x+Aid,, 故 
f xis1) <f xi) ,k=0,1,2,.. 
又 由 于 了 连续 , 且 5(f,a) 为 有 界 闭 集 ,因此 ,f 在 5(f,a) 上 有 界 , 即 1/(x,)| 为 单 
调 碱 小 的 有 界 数列 ,于 是 |f(x,)1 存 在 极限 . 
设 |xi1 是 由 初始 点 ze 每 进行 n 步 迭 代 后 按 最 速 下 降 法 得 到 的 点 组 成 的 点 
列 , 则 [x Slixil SS5(f,a), 即 1x1 为 有 界 点 列 ,从 而 有 收敛 的 子 列 , 为 方便 
计 , 可 设 {xu 上 收敛 , 且 


lim xu = 亏 
由 最 速 下 降 法 的 收敛 定理 7.1.1 的 证 明 ,可 得 只/ 站) =0, 所 以 是 /的 平稳 点 . 
0 
可 以 证 明 : 共 二 梯度 法 产生 的 点 列 1xi| 是 n 步 二 阶 收 敛 的 , 即 
pap eee 


sd 


详细 的 证 明 参 见 文献 [161. 

例 7.3.1 用 FR 共 思 梯度 法 求解 问题 (7.2.6) , 仍 取 初 始点 x。=.(0,0)"， 
允许 误差 e =0. 1. 

解 因为 

Vf(x) =( -2(1 -x) -8(x, x)x,4(x2 -7))", 
所 以 
Vf/(xo) =( -2,0)", | Vf/(xo) | =2>e. 
令 qd= -VJ(ro) =(2,0) ,从 点 x 出 发 , 沿 do 进行 一 维 搜索 ,得 
Ao =1/4,x, =xo + Aod, = (1/2,0)". 


从 而 
V/(x) =(0,-1)", | V/(x) | =1>e. 
由 FR 公式 有 
oa YG) LL 
”EVA 4 


因此 ,新 的 搜索 方向 为 
di= -VV/(x) +aod, =(1/2,1)". 
从 点 式 , 出 发 沿 d, 进行 一 维 搜索 ,得 
A =1,xr =x, +Ad, =(1,1)". 
此 时 
Vf/(x) =(0,0)", | Vf/(x,) | =0<e. 
得 问题 (7. 2.6) 的 最 优 解 为 xz: = (1,1)". 0 


7.4 变 度 量 法 


变 度量 法 是 近 50 年 发 展 起 来 的 一 种 求解 无 约束 最 优化 问题 的 最 有 效 的 方 
法 ,特别 是 对 于 高 维 问题 具有 明显 的 优越 性 . 


7.4.1 拟 Newton 条 件 


前 面 介绍 的 最 速 下 降 法 和 阻尼 Newton 法 ,它们 的 迭代 公式 可 以 统一 为 
Kio = + ALd,, 
{a = -GV/(x), 
其 中 G, e R"*,A, 是 从 点 x 出 发 沿 ds 进行 一 维 搜索 的 最 优 步 长 . 当 G, =1,(n 
阶 单位 矩阵 ) 时 ,(7.4.1) 式 即 为 最 速 下 降 法 的 迭代 公式 ; 当 Gs =[V2ACz)] 
时 ,(7.4.1) 式 就 是 阻尼 Newton 法 的 迭代 公式 . 因此 ,如 果 能 够 使 G, 的 选取 既 不 
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(7.4.1) 


需要 计算 Hesse 矩阵 及 其 送 矩 阵 , 又 能 很 好 地 近似 于 [Vf (x)], 则 由 
(7.4. 1) 式 确定 的 迭代 算法 将 会 保持 Newton 法 收敛 速度 快 的 优点 ,同时 又 具有 
计算 简单 的 特性 . 

设 问题 (7.1.1) 中 目标 函数 /具有 二 阶 连续 偏 导数 , 且 V*f (x) 正定 . 为 使 
由 (7.4.1) 中 第 2 式 确定 的 搜索 方向 是 了 在 点 x; 处 的 下 降 方 向 ,根据 定理 
1.2.3, 应 当 要 求 

VCr)rd <0， 
或 即 
Vf/(x)"G, Vf(x,) >0， 

所 以 我 们 应 要 求 (7.4. 1) 式 中 的 G, 是 正定 矩阵 . 

设 在 第 上 +1 次 迭代 后 得 到 zi ,将 了 在 点 zi 处 作 Taylor 展开 , 取 二 阶 近 
似 ,得 


Jr) fx) VE) Te) + Vf ) (et), 


对 上 式 两 边 求 梯度 ,有 
VI TV ) + VR) xx ), 
令 x=x,, 得 到 
VIR) -VIE VK) Ki Xi), 
即 
[VA VAR) Vf) ] xi x 
易 知 , 当 / 为 正定 二 次 函数 时 ,上 式 成 为 等 式 , 即 
[VC VAC) ~- VAR)) = -Xe (7.4.2) 
因为 具有 正定 Hesse 矩阵 的 函数 在 极 小 点 附近 可 用 二 次 函数 很 好 地 近似 ,所 以 
如 果 我 们 迫使 G,, 1 满足 类 似 于 (7.4.2) 式 的 关系 式 , 即 令 
Gl Vf) -VIR)] = Xs (7.4.3) 
则 G,,, 就 可 以 很 好 地 近似 于 [ 玉 了 (x;,1)] .因此 称 (7.4.3) 式 为 拟 Newton 条 
件 (quasi-Newton condition). 
为 方便 起 计 , 记 
Axs =X -Ts 
Ag =V/(xin) -Vf/(x), 
AGC. =G -G,, 
并 称 AG, 为 校正 矩阵 (correction matrix) , 则 拟 Newton 条 件 可 以 写成 
AGAg: = Ar -GASg+- (7.4.4) 
综 上 所 述 ,我 们 得 到 如 下 的 一 类 算法 . 
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算法 7 -6( 拟 Newton 法 ) 

Step 1 选取 初始 数据 . 选取 初始 点 x。e R" 和 初始 矩阵 Gu ,要 求 G。 为 正定 
矩阵 (可 取 G。= 了 1,) ,给 定 允 许 误 差 a >0, 令 k=0. 

Step 2 ”检查 是 否 满足 终止 准则 . 计算 Vf(x,) , 若 1VA(Cr) | <e, 和 迭代 终 
止 ,x; 为 问题 (7. 1. 1) 的 近似 最 优 解 ;否则 , 转 Step 3. 

Step 3 ”构造 搜索 方向 . 令 d, = -GVf(x,). 

Step 4 ”进行 一 维 搜索 . 求 和 和 xx,,, ,使 得 

fx t+ Adi) =minf (x +Ad,), 
Kar = 二 Ad 

Step 5 产生 校正 矩阵 . 求 出 满足 (7.4.4) 的 校正 矩阵 AG, , 令 G,,, = G, + 
AG,k:=k+1, 返 回 Step 2. 

由 于 这 种 算法 的 搜索 方向 是 根据 拟 Newton 条 件 (7.4.4) 构 造 出 来 的 ,因此 
称 之 为 拟 Newton 法 ( quasi-Newton method). 因为 满足 拟 Newton 条 件 (7.4.4) 中 
的 AG, 并 不 是 惟一 的 ,所 以 拟 Newton 法 是 一 族 算法 . 


7.4.2 Q 度量 意义 下 的 最 速 下 降 方 向 


设 /:R" 一 RR 可 微 ,由 1.2 节 知 ,在 向 量 范 数 为 
lxl = Vxx 
的 度量 意义 下 /在 点 xx 处 的 最 速 下 降 方 向 为 - 玉 f(x,). 但 是 ,如 果 把 R&R" 中 的 
向 量 范 数 定义 为 
lxlo= Vx Qx, 
其 中 QeR" 为 正定 矩阵 ,那么 ,从 点 x 出 发 在 上 述 8 度量 意义 下 沿 哪个 方向 4 
搜索 /下 降 得 最 快 ? 
设 deR" 是 Q 度量 意义 下 的 单位 向 量 , 即 
1al。= VaQd=1. 
由 定理 1.2.2 知 从 点 交 ee 
ss 
=V/(x)" i 


因为 /从 点 x ee We ,所 以 ， 
最 优化 问题 


Et d; (7.4.5) 


st lalo=1 
的 解 就 是 从 点 x 出 发 使 下降 最 快 的 方向 . 
由 于 Q 为 正定 矩阵 ,因此 存在 满 秩 矩阵 工 ,使 C = 工 工 , 从 而 
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ar0d=daLTLd=(Ld)T(CLd) ， 
V(r) d= V(r) TL La=[(L WA(z)]7(Ld). 
令 p =Ld, 则 问题 (7.4.5) 可 写成 


2 -iT 
he [(L™)" Vf(x)]'p; (7.4.6) 
st lpll=1. 

根据 1. 2 中 Cauchy 不 等 式 可 知 
(LL )' V(r) 

ML) VACx) 1 
是 问题 (7.4.6) 的 最 小 点 ,从 而 
-07 -NT 
py (了 ) Vf(x,) (7.4.7) 


ML) VACx) 1 
是 问题 (7.4.5) 的 最 小 点 , 即 (7.4.7) 式 所 定义 的 d 就 是 在 @ 度量 意义 下 ,f 在 点 
xi 处 下 降 最 快 的 方向 . 于 是 ,方向 
di=-L "(LL)" Vf/(x) = - (LT) Vf), 
即 
d= -QV/(x,) (7.4.8) 

为 在 @ 度量 意义 下 jy 在 点 总 处 的 最 速 下 降 方向 . 

若 令 Q =V2f(zi) , 则 (7.4.8) 式 为 Newton 方向 ,所 以 阻尼 Newton 法 其 实 是 
在 Vf(x,) 度 量 意义 下 的 最 速 下 降 法 . 这 也 说 明 , 由 (7.4.1) 式 确定 的 迭代 算法 
就 是 在 Gi' 度量 意义 下 的 最 速 下 降 法 ,只 是 向 量 范 数 的 定义 (度量 ) 在 各 次 迭代 
中 是 变化 的 , 故 这 类 算法 又 称 为 变 度量 法 ( variable metric method). 由 此 可 知 , 拟 
Newton 法 是 一 类 特殊 的 变 度量 法 . 


7.4.3 DFP 法 


我 们 知道 ,校正 矩阵 AG, 的 不 同 取 法 可 以 产生 不 同 的 拟 Newton 法 . 下 面 来 
考虑 AG, 的 一 种 比较 简单 的 形式 : 
AG, = Ax,p! — GiAgiq:, (7.4.9) 
其 中 p,q e R" 是 待定 的 向 量 . 于 是 : 
AG,Ag = (piAgi) Ax, - (giAgi)G,Ag,, 
要 使 AG, 满足 (7.4.4) 式 , 即 要 求 


PTAg =1,g:Ag: =1. (7.4.10) 
为 了 选择 满足 (7. 4. 10) 式 的 向 量 和 gt, 考 虑 到 AG, 应 有 对 称 性 ,可 简单 地 取 
Pr = oAx,,q: =B:GiAg.. (7.4.11) 


把 上 式 代 入 (7.4. 10) 式 得 
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asAxsAg =1,B,Ag: GAg: =1, 
于 是 , 当 AxiAg, #0,Ag:G,Ag,x0 时 ,有 
RE | 
ATAg AASTGAE 
代 人 (7.4.11) 式 和 (7.4.9) 式 ,得 到 校正 矩阵 的 表达 式 
_AriAr: GiAgiAg:G, 


AriAg: AgrG.Ag: 


ba 


AG, 


进而 得 到 矩阵 的 迭代 公式 


Gi =G, + MAN _ GAgrA8:G, (7.4.12) 
AxiAg: Ag:G,Ag, 
上 述 给 出 的 选取 AG, 的 方法 是 Davidon (1959) 首先 提出 ,后 又 被 Fletcher 和 
Powell(1963 ) 改进 简化 而 成 的 , 故 (7.4. 12) 式 叫做 DFP 公式 . 把 由 DFP 公式 产 
生 的 矩阵 G, 代入 (7.4.1) 式 得 到 的 搜索 方向 叫做 DFP 方向 ,而 每 次 迭代 都 用 
DFP 方向 进行 一 维 搜索 的 拟 Newton 法 就 称 为 DFP 法 . 
算法 7 -7(DFP 法 ) 
Step 1 ”选取 初始 数据 . 选取 初始 点 z, 和 初始 矩阵 G。= 了 1, ,给 定 允 许 误差 
e>0. 
Step 2 ”检查 是 否 满足 终止 准则 . 计算 Vy/(x。o), 若 上 Vf(x。) | <e, 人 迭代 终 
止 ,ze 为 问题 (7. 1. 1) 的 近似 最 优 解 ;否则 , 转 Step 3. 
Step 3 ”构造 初始 DFP 方向 . 取 d = -Vf/(xo), 令 k=0. 
Step 4 进行 一 维 搜索 . 求 出 入 和 x,,, ,使 得 
的 +Aid,) =minf (x +Ad,), 


Kio =X + ALd,. 

Step 5 ”检查 是 否 满足 终止 准则 . 计算 VA(x.,), 若 上 Vf(x,,1) 1 <e, 和 迭 
代 终 止 ,x,,1 为 问题 (7.1.1) 的 近似 最 优 解 ;否则 , 转 Step 6. 

Step 6 ”检查 和 迭代 次 数 . 若 上 +1 =n, 令 xo:=x, ,返回 Step 3; 否 则 , 转 Step 7. 

Step 7 构造 DFP 方向 .用 DFP 公式 
AxiAx: GiAgiAg:G, 
AxiAg, AgiG.Ag. 
算出 Gi, 取 di,,= 一 GVf(xi1), 令 k=k+1, 返 回 Step 4. 

在 上 述 算法 中 , 当 和 迭代 进行 n 次 仍 未 终止 , 则 要 把 x, 作为 初始 点 重新 开始 
迭代 ,这 是 为 了 减少 计算 误差 的 积累 而 造成 的 影响 . 

例 7.4.1 用 DFP 法 求解 问题 (7.2.6) , 仍 取 初 始点 re = (0,0) ,允许 误差 
e=0.1. 

解 由 于 


Gn=G+ 
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VCz) =( -2(1 -x) -8(x, -x )x ,4(x, -x1))", 
因此 Vf(x。) =( -2,0)". 从 而 初始 搜索 方向 为 
d= -G, Vf(xo) =(2,0)". 
由 例 7.3.1 知 ,从 x。 出 发 沿 d。 进行 一 维 搜索 ,得 
xi =(1/2,0)", Vf(x) =(0, -1)", Vf/(x) | =1>e. 


Axo =x, -xo=(1/2,0)",Ago =V f(r) -Vf(x) =(2, -1)", 


可 得 
AxsAgo =1,AgIGoAg。 =5， 
代入 DFP 公式 (7.4.12) 式 有 


-人 全- 让- 
志和 起 


= id 
由 此 可 构造 DFP 方向 


av 二- 
从 点 出 发 沿 d, 进行 一 维 搜索 ,得 


5 1 
Al SH +Aid, =[ 


此 时 ,VA(r) =(0,0)", | Vf(x,) 1 =0<e, 于 是 ,得 问题 (7.2.6) 的 最 优 解 为 


x =(1,1)7. 
下 面 我 们 证 明 DFP 法 产生 的 1G,} 是 正定 矩阵 序列 . 


定理 7.4.1 设 G, 是 正定 和 矩阵, 且 VVf(x,) 0, 则 由 DFP 公式 (7.4.12) 式 


产生 的 G4,! 也 是 正定 矩阵 


证 明 先 证 明 DFP 公式 (7. 4. 12) 式 中 第 2 项 和 第 3 项 的 分 母 为 正 数 . 


因为 Ax, =xzi,, -xx =Aidt, 且 At 是 从 点 zi 出 发 沿 di 进行 一 
步 长 ,所 以 
VCrh)rd=0. 
从 而 ,由 (7.4.1) 中 第 2 式 有 
AxiAg: =Aidi[ Vf(xi,) -VCD)] 


= -Ad Vf/(x) =A Vf(x)G Vf (rx). 


因 V f(x,) 关 0,G 正定 , 故 
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VCro7rG V/(x) >0， 

而 A >0, 因 此 AxtAg; >0, 即 (7.4.12) 式 中 第 2 项 的 分 母 为 正 数 . 又 由 ArTAg， 
>0 知 ,Ag 天 0, 故 由 G 正定 可 知 ,Ag:G,Ag, >0, 即 (7.4.12) 式 中 第 3 项 的 分 
母 为 正 数 . 

再 证 G,,, 是 正定 的 . 由 于 G 是 对 称 矩 阵 ,因此 由 (7.4. 12) 式 知 ,G,,, 是 对 
称 矩 阵 . 另 一 方面 ,对 任意 非 零 向 量 ye R", 有 
AxiAx: GAgiAg:G, 
AxiAg: Ag!G,Ag, | 

TA 2 or, 2 

we 
因为 G, 正定 ,所 以 存在 满 秩 和 矩阵 忆 ,使 G, = LiL,, 令 


了 GD = 尼 + 


p=Ly,g=L,Ag,, (7.4.13) 
则 有 
了 Gy = LLy= (Ly) (Ly) = pl’, 
AgrG,AMg, =AMgiLiLiAg, = (L.Agi) "(LAg.)= | ql’, 
y'GiAgr = LiLAg, = (Ly)" (LAg,) =p"g, 
于 是 
rt (Ar) (PTg) 
GD = HR 2， 
了 AAAe al 
或 即 
1 _ lpl’lgl’-(p'g)’, (yAx,)’ 
GD = 5 Ca 7.4.14 
a lal + AxrAg, (7.4.14) 
以 下 分 两 种 情况 讨论 : 


(1) p=Bq(Bz0), 这 时 (7.4.14) 式 中 第 1 项 为 0, 并 且 由 (7.4.13) 式 可 
知 ,y=BAg,. 将 此 式 代 人 (7.4. 14) 式 得 
TA 2 
TP -parar, >0. 
(2) p 关 Bq(Bz0) ,此 时 由 Cauchy 不 等 式 知 (7.4.14) 式 中 第 1 项 大 于 0, 而 
(7.4.14) 式 中 第 2 项 显然 是 非 负 的 ,所 以 也 有 
7 Gy >0， 
这 就 证 明了 G,.:, 是 正定 矩阵 . 0 
因为 初始 矩阵 G。=7, 是 正定 的 ,所 以 由 该 定理 知 ,DFP 法 产生 的 所 有 和 矩阵 
G, 均 是 正定 的 . 
定理 7.4.2 用 DFP 法 求解 正定 二 次 函数 的 无 约束 最 优化 问题 (7. 1.2) , 若 
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了 Gy = 


迭代 点 是 互 异 的 ,并 且 产 生 的 搜索 方向 依次 是 四 ,4 ,…,di(k<ma-1), 则 有 
GOd =d,,i=0,1,.……,k-1, (7.4.15) 
和 


d'Qd, =0,i,j=0,1,.,k,i <j (7.4.16) 
证 明 首先 由 迭代 点 互 异 的 假设 知 ,搜索 步 长 和; >0(i=0,1,…,k). 对 k 用 
数学 归纳 法 证 明 . 
当 k=1 时 ,由 于 
Axo =x, -Xo = Aod,, 
Ago =V/(x) -Vf/(xo) =(Qr, +b) -(Qro +b) =QAx,, 
因此 
Ood =Q (As) = 六 Ago， 
从 而 ,由 DFP 公式 (7.4. 12) 式 知 
，AxoAxo GoAgoAgoC。 
AxroAg。 AgoGoAgo 
= 二 (Guag + Aro -GoAg) = 人 Ar = 


GiQd, =(6 Ess 


并 由 此 可 得 
diQd, =diQ( -G, V/(x)) = -V/(x,)'G,Qd, 
= -Vf/(x,)"d, =0, 

所 以 ,k=1 时 ,(7.4.15) 式 和 (7.4.16) 式 成 立 . 

假设 对 于 上 =m 宇 1,(7.4.15) 式 和 (7.4.16) 式 成 立 . 下 面 证 明 当 k=m+1 
时 ,(7.4.15) 式 和 (7.4.16) 式 也 成 立 . 

由 DFP 公式 (7.4.12) 有 
AxsAx"Qd, GoAg。AgnG。Od， 


G..1Qd,=G.Qd,+ Rr pO Mg (7.4.17) 
并 且 又 有 
Ax。=xn.i -Xa = And,, (7.4.18) 
Ag .= 了 Jr ) -Vf(x,) =QAx, =A.Qd,. (7.4.19) 
当 i<m 时 ,由 上 面 两 式 及 归纳 假设 知 ,对 于 i=0,1,…,m-1, 有 
G.Qd,=d,, 
Ax'Qd, =A.d’Qd, =0， 
Ag"G.Qd, = Agndi =A.d"Qd. =0, 
从 而 由 (7.4.17) 式 得 
G.,1Qd, =4d,,i=0,1,.…,m-1. (7.4.20) 
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当 i=m 时 ,由 (7.4.19) 式 和 (7.4.18) 式 有 
G.Qd.=G (se -= = 一 GAg ， 


人 和信。 
axarrod Mh (Th) | a 
AxiAg, AxiAg. a RD 
Gg heiG.04. Oh. Ag:G. (Lhe. 属 
Ag"G.Ag. Ag"G.Ag, A 
把 它们 代入 (7. 4. 17) 式 得 到 
G..04. = 款 G-Ag .+d -GAgs =d., (7.4.21) 
从 而 由 (7.4.20) 式 和 (7.4.21) 式 知 , 当 k=m+1 时 ,(7.4.15) 式 成 立 , 即 
GOd =di,i=0,1,… (7.4.22) 
又 由 归纳 假设 有 
d'Qd, =0,0<i<j<m, (7.4.23) 


并 且 由 4d,,, = -Gs。,1,V/(x。,,), 有 
d0d = -dQGs Vs) = -Vf(x,.)'G,,,Qd,, 
从 而 由 (7.4. 22) 式 得 
diQd, = -Vf(x,,) dd,,i=0,1,.,m. (7.4.24) 
又 由 (7.4.23) 式 知 ,d,d,…,d. 是 一 组 8 共 堪 方向 . 因此 由 (7.3.8) 式 知 
Vf(x。 4) "d=0(i=0,1,…,m) ,于 是 ,由 (7.4.24) 式 得 到 
diQd.., =0,i=0,1,.…,m. 
根据 上 式 以 及 (7.4.23) 式 得 知 , 当 k=m+1 时 ,(7.4.16) 式 成 立 . 0 
定理 7.4.3 设 用 DFP 法 求解 正定 二 次 函数 的 无 约束 最 优化 问题 (7. 1. 2). 
车 迭代 点 是 互 异 的 , 则 至 多 经 过 n 次 迭代 可 得 问题 (7.1.2) 的 最 优 解 . 如 果 总 共 
要 进行 n 次 迭代 算法 才 终 止 , 则 G. =Q…. 
证 明 由 定理 7.4.2 中 的 (7.4.16) 式 可 知 ,用 DFP 法 求解 问题 (7.1.2) 产 
生 的 搜索 方向 d,,d,,…,d,_, 是 一 组 Q 共 思 方 向 ,所 以 DFP 法 也 是 一 种 共 因 方 
向 法 ,从 而 由 定理 7.3.3 知 ,至 多 经 过 nn 次 迭代 可 达 (7.1.2) 的 最 优 解 . 
如 果 要 进行 n 次 迭代 算法 才 终 止 , 则 由 (7.4.15) 式 有 
G.Qd.=d.,i=0,1,.…,n-1, (7.4.25) 
且 由 (7.4.16) 式 知 ,do,d ,…,d. ,是 一 组 Q 共 轿 方向 ,因此 由 定理 7.3.1 知 它 
们 是 线性 无 关 . 取 和 矩阵 
D=(d,,d,,…,d,.,), 
则 刀 是 满 秩 矩阵 , 据 此 ,由 (7.4.25) 式 有 G.QD =D, 从 而 G.0 =1,, 即 G,= 
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上 面 的 定理 证 明 DFP 法 是 共 辆 方向 法 ,因而 具有 二 次 终止 性 . 如 果 用 DFP 
法 求解 正定 二 次 函数 的 无 约束 最 优 解 问题 (7. 1.2) ,算法 经 过 m 次 迭代 才 终止 ， 
则 最 后 的 迭代 和 抢 阵 G. 即 为 目标 函数 的 Hesse 矩阵 的 逆 矩 阵 , 即 知 DFP 法 的 最 
后 一 个 搜索 方向 就 是 直 指 问题 最 优 解 的 Newton 方向 . 

定理 7.4.4 设 /:R" 一 R 具有 一 阶 连续 偏 导数 ,x。e R", 记 a=/(x,。), 并 假 
设 水 平 集 5(f,a) 有 界 . 若 |x,1 是 由 DFP 法 求解 问题 (7. 1. 1) 产 生 的 点 列 , 则 

(1) 当 ix| 是 有 穷 点 列 时 ,其 最 后 一 个 点 是 了 的 平稳 点 ; 

(2) 当 1x,| 是 无 穷 点 列 时 , 它 必 有 极限 点 ,并 且 其 任 一 极限 点 都 是 的 平 

证 明 (1) 当 1x,| 是 有 穷 点 列 时 ,由 DFP 法 的 终止 条 件 知 ,其 最 后 一 个 点 瑟 
满足 VJ(z) =0, 即 是 f 的 平稳 点 . 

(2) 当 |x| 是 无 穷 点 列 时 ,六 (x) 关 0(k=0,1,2,…), 又 由 定理 7.4.1 
知 ,DFP 法 产生 的 所 有 和 矩阵 G。 是 正定 的 (k=0,1,2,…), 故 

Vf/(x)'G, Vf/(x,) >0. 
于 是 ,由 d= -G,V/(x,) 有 
Vf/(xi) d= -Vf(x)'G, Vf(x,) <0， 
即 d 为 /在 点 x 处 的 下 降 方向 . 从 而 
f(x461) =f (x + Aid) <f(x) ,k=0,1,2,.. 

以 下 与 定理 7.3.5 的 证 明 类 似 ,可 证 :|x,| 存在 极限 点 ,其 任 一 极限 点 都 是 /的 
平稳 点 . 0 

还 可 证 明 DFP 法 具有 超 线性 收敛 性 ,详细 证 明 参 见 文献 [16 ,50]. 


7.4.4 BFGS 法 


如 果 在 7.4.1 节 中 推导 拟 Newton 条 件 时 ,一 开始 不 考虑 构造 逼近 
[Vf(x,) ] 的 迭代 矩阵 G,, 而 是 考 虚 通 近 Vf(x,) 的 迭代 矩阵 Bi, 则 相应 于 
(7.4.1) 中 第 2 式 有 

d,= -Bi' Vf(x,), (7.4.26) 
并 且 相 应 于 拟 Newton 条 件 (7. 4.3) 有 

Vf(xi) VIX) =B, (x -x ), 

从 而 ,相应 于 (7.4.4) 式 有 

AB,Ax, = Ag -B.Ax,, (7.4.27) 
其 中 AB, =B,., -Bi. 由 此 出 发 ,同样 可 以 构造 出 拟 Newton 法 ,这 类 算法 中 每 次 
迭代 的 搜索 方向 d, 其 实 是 在 B, 度量 意义 下 的 最 速 下 降 方向 , 故 这 类 算法 也 是 
变 度量 法 . 
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与 7.4.3 节 类 似 ,考虑 AB, 的 一 种 简单 形式 
AB, = Agip: -BiAx.q:, 
其 中 p,q e R" 是 待定 的 向 量 . 同 理 可 得 满足 (7. 4. 27) 式 的 校正 矩阵 
AgiAg: B.Ax,AxiB, 
AgiAx: AxiB,Ax, 


从 而 得 到 

AgiAg: B.Ax,Ax:iB, 
AgiAx, AxiB,Ax, 
为 了 按 (7.4.26) 式 构造 出 搜索 方向 di ,必须 求 出 Bi' ,于 是 ,两 次 利用 Sherman 
一 Morrison 公式 : 若 4 e R" 为 满 秩 和 矩阵 ,u,ve R", 且 vA wz -1, 则 


B,,.,=B. + 


(7.4.28) 


(4+uor) =47 -一 


不 难 由 (7. 4. 28) 式 推出 
Ei AxriAgt\ Ax,Ag!\™ Ax,Ax! 
Bi,, =|1,— me , 
| ete) | ) * AxTAg, 


令 Gi=Bi', 则 由 上 式 有 
人 人 AgIG4Ag， 


1 
G =G + 四 
‘AriAg, rae | AxrAg, 


(Ax,AgiG, + GAg,Ax!). 


(7.4.29) 

公式 (7.4.29) 是 Brayden,Fleteher(1970) ,Goldfarb(1969) 和 Shanno( 1970 ) 共同 

研究 的 结果 , 故 叫做 BFGS 公式 . 把 BFGS 公式 产生 的 矩阵 G, 构造 的 搜索 方向 
d= -GV/(x,) 

称 为 BFCS 方向 . 每 一 次 迭代 都 用 BFGS 方向 进行 一 维 搜索 的 拟 Newton 法 称 作 

BFGS 法 . 于 是 ,只 要 把 DFP 法 的 Step 7 用 DFP 公式 构造 DFP 方向 改 为 用 BFGS 

公式 构造 BFGS 方向 ,就 得 到 了 BFGS 法 . 

BFGS 法 具有 与 DFP 法 完全 相同 的 性 质 ,例如 ,BFGS 法 也 是 共 碟 方向 法 , 因 
而 具有 二 次 终止 性 ,并 且 BFGS 法 还 具有 超 线性 收敛 性 . 

对 于 DFP 法 ,由 于 一 维 搜索 的 不 精确 和 计算 误差 的 积累 可 能 导致 某 一 次 迭 
代 中 G, 的 奇异 ,而 BFGS 法 对 一 维 搜索 的 精度 要 求 不 高 ,并且 由 它 产生 的 G, 不 
易 变 为 奇异 矩阵 . 因此 ,BFGS 法 比 DFP 法 具有 这 一 好 的 数值 稳定 性 ,使 它 更 具 
实用 性 . 

例 7.4.2 用 BFGS 法 求解 问题 (7.2.6) , 仍 取 初 始点 re = (0,0)", 允 许 误 
差 es =0.1. 

解 由 例 7.4.1 知 ,初始 搜索 方向 

d= -Go Vf(xo) =(2,0)", 
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从 x 出 发 沿 do 进行 一 维 搜索 ,得 x, = (1/2,0)" ;并且 
VCr) =(0, -1)",Axo =(1/2,0)",Ago = (2, -1)", 


从 而 
AxoAg。 =1,AgoGoAg。 =5, 
eesr[o]( 仁 9-[。 oo 
anasic,=-[ 2-D-[。 | 
onesie[ 9) [1 小 
因此 
co =[ HE 55 中 fs ee [i 9 
a | 
Wa Ed 
由 此 构造 BFGS 方向 


di= -GV/(x) s[ tl 
从 点 出 发 沿 d, 进行 一 维 搜索 ,得 
A1=1,x =x, +Ad, =[ | 


即 知 x, = (1,1)" 为 问题 (7.2.6) 的 最 优 解 . 0 


7.5 最 小 二 乘法 


在 实际 应 用 中 ,会 经 常 遇 到 目标 函数 为 若干 个 函数 平方 和 的 最 优化 问题 : 
mins(x) = 六 Fiz)， (7.5.1) 


其 中 xeR"*, 一 般 假设 m=m, 这 类 问题 称 为 最 小 二 乘 问题 (least square problem). 
当 每 个 上 (zx) 都 是 线性 函数 时 ,问题 (7. 5. 1) 称 为 线性 最 小 二 乘 问题 (least square 
linear problem ) ,否则 , 称 为 非 线 性 最 小 二 乘 问题 ( least square nonlinear problem ) . 

由 于 最 小 二 乘 问题 相对 于 一 般 无 约束 最 优化 问题 而 言 具有 特殊 形式 ,因此 
除 能 运用 本 章 前 面 介绍 的 一 般 求 解 方法 外 ,还 应 有 更 为 简便 有 效 的 方法 . 


7.5.1 线性 最 小 二 乘法 


当 /.(x) 为 线性 函数 时 , 即 
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f(x) = as bisi=1,2,.,m, 
问题 (7. 5. 1 ) 就 成 为 线性 最 小 二 乘 问题 . 如 令 


au aa … mm b, 

Qn an oa b, 
A= b= 

Qn am Gon b, 


f(x) = f(x) Cr) fx) ) ， 
则 
s(x) =f(x) f(x) =(Axr-b)" (Ax-b)= | Ar-bl’, 
从 而 问题 (7. 5. 1) 可 表示 为 
mins(x) = | Ax -5b | 2. (32 
因为 
s(x) = (hr -b)7(4r-6) =xT474z -2b"'Ar +b"b, 
所 以 s(x) 为 二 次 函数 , 且 
Vs(x) =2A'Ax -2A'b, V's(x) =2474. 
显然 ,对 一 切 ye R", 均 有 
7 474y = Ay ’>0, 
即 知 ,4"4 是 半 正 定 和 矩阵 ,从 而 由 定理 2.3.7 知 ,s(x) 是 R" 上 的 凸 函 数 . 
定理 7.5.1 xeR" 是 问题 (7.5.2) 的 最 优 解 的 充 要 条 件 是 满足 方程 组 
A'Axr=A'b. (7.5.3) 
证 明 因为 s(x) 是 在 R" 上 具有 一 阶 连续 偏 导 数 的 凸 函数 ,所 以 由 推论 
3.1.5 知 ,* 是 问题 (7. 5.2) 的 最 优 解 的 充 要 条 件 是 V s(x) =0, 即 
A'AE =A'b. 0 
容易 知道 ,矩阵 A"4 正定 的 充 要 条 件 是 对 于 一 切 非 零 向 量 ye R" ,有 
yA'Ay= | Ayl’ >0. 
记 ? = (7 7s) ,4 =(p1,p;，,…,p,) , 则 上 式 等 价 于 


Ay= 7 py,#0. (7.5.4) 
各 


而 (7. 5.4) 式 成 立 的 充 要 条 件 是 向 量 组 p,,p,,…,p。 线性 无 关 ,这 又 等 价 于 
rank 4 =n. 从 而 474 为 正定 矩阵 的 充 要 条 件 是 rank 4 =n, 换 句 话说 ,s(x) 为 正 
定 二 次 函数 的 充 要 条 件 是 rank 4 =n. 
定理 7.5.2 若 rank 4 =n, 则 
T=(AA) Ab (TT 
为 问题 (7. 5.2) 的 惟一 最 优 解 . 
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证 明 因 rank 4 =n, 故 由 前 述 可 知 ,474 为 正定 矩阵 ,从 而 X= (A"4) 47 
为 方程 组 (7. 5.3) 的 惟一 的 解 ,于 是 ,由 定理 7.5.1 知 ,x 为 问题 (7.5.2) 的 惟一 
最 优 解 . 0 
显然 ,方程 组 Ax =b 有 解 的 充 要 条 件 是 问题 (7. 5.2) 的 最 优 值 mins(x) =0. 
例 7.5.1 求解 线性 最 小 二 乘 问题 
min ‖ 4x -bl *, (7.5.6) 
其 中 


解 因为 
ye TA 7 
44=[ .7 26](4"4) | ] 
所 以 ,由 公式 (7.5.5) , 求 得 问题 (7.5.6) 的 最 优 解 


证 
1 [26 7113 2 -1 3/14 
* 7350|7 ls Be: 中 -| 和 
由 于 问题 (7.5.6) 的 最 优 值 为 
(AF-b)'(Ax—-b)=11.454 285 71#0, 


因此 ,方程 组 
3x, +X2 =2， 
民 =3xz= -3， 
一 2 +4xa = 一 1 
无 解 . 0 


7.5.2 Gauss - Newton 法 


现在 讨论 非 线性 最 小 二 乘 问题 
mins(x) = ||f(x) ||, (3%.4.7) 
其 中 xeR",f(x) = (f(x) ,f(x),…,f。(x))" ,f(x) 不 全 是 线性 函数 , 且 假 定 
f(x) 具 有 一 阶 连续 偏 导数 ,i=1,2,…,m. 
求解 问题 (7.5.7) 的 基本 思想 与 7.2 节 中 的 Newton 法 类 似 :把 /:(x) 线 性 
化 ,用 线性 最 小 二 乘 问题 的 解 去 通 近 非 线 性 最 小 二 乘 问题 的 解 . 
假设 选 定 初始 点 x。 后 经 过 次 迭代 得 到 ,把 (x) 在 点 处 展 成 一 阶 
Taylor 表达 式 ( Newton 法 是 展 成 二 阶 Taylor 表达 式 ) 
Fix) fx) + Vx) (x x). (7.5.8) 
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根据 f(x) 的 Jacobi 矩阵 
VICx) = (Vf), VPC) ,Vf (x))T 
可 知 ,(7.5.8) 式 可 写成 
f(x) fx) + VACx) (x -x,), 
从 而 
s(x) = f(r) + Vf) (x x) 12 
因此 ,线性 最 小 二 乘 问题 
min‖ VACx) (x -x) +f(x,) 1 (7.5.9) 
的 最 优 解 可 以 作为 问题 (7. 5.7) 的 最 优 解 的 第 上 + 1 次 近似 , 记 为 x,,，. 
根据 定理 7. 5. 1 ,问题 (7. 5.9) 的 最 优 解 zx,,, 满 足 方程 组 
Vrh) VHCx) (x -x)= -Vf ) x,). 
再 假设 和 矩阵 玉 了 (x, ) 是 列 满 秩 的 , 则 由 定理 7.5.2 可 知 , 上 述 方程 有 惟一 的 解 
Kar =xs [VIE) VHA) VA) Ax). 
上 式 称 为 Gauss - Newton 公式 ,向 量 
di= -LV Vf)] V/A) fx,) (7.5.10) 
称 为 Gauss - Newton 方向 . 由 Gauss - Newton 公式 确定 的 迭代 算法 称 为 Gauss - 
Newton 法 . 
因为 f(x)" 玉 f(z) 正定 ,所 以 [Vf(x,)" V1(x,)] -是 正定 矩阵 . 于 
是 由 


Var) =2 5 VI) =2 V2) Hx), 


及 (7.5.10) 式 可 得 
Vs(x) d= -2 VF) Fr) VA) VAx) LV) fx) ] <0, 
由 此 即 知 ,Gauss - Newton 方向 是 s(x) 在 点 x, 处 的 下 降 方 向 . 

同 Newton 法 类 似 ,可 以 证 明 ,当初 始点 fo 充分 接近 问题 (7. 5.7) 的 极 小 点 
时 , 则 Gauss - Newton 法 是 二 阶 收敛 的 . 

为 了 保证 在 初始 点 x。 远离 问题 (7.5.7) 的 极 小 点 时 ,算法 仍然 收敛 ,与 阻 
尼 Newton 法 一 样 ,在 求 出 x, 和 d, 之 后 ,不 直接 用 x +d, 作为 k+1 次 近似 ,而 
是 从 xx 出 发 沿 di 进行 最 优 一 维 搜索 

SC +Aid,) = mins(x, +Ad,), 

并 取 xx,,, =x +Asd, 作为 第 k+1 次 近似 . 

算法 7 -8( 阻 尼 Gauss -Newton 法 ) 

Step 1 选取 初始 数据 . 选取 初始 点 to ,给 定 允 许 误差 e >0, 令 k=0. 

Step 2 ”检查 是 否 满足 终止 准则 . 计算 f(x,) 及 Jacobi 矩阵 六 f(x,), 若 
上 f(x.) (x) 1 <e, 和 迭代 终止 ,zt 为 (7.5.7) 的 近似 极 小 点 ;否则 , 转 Step 3. 

vor 


Step 3 ”构造 Gauss - Newton 方向 . 计算 [Vf(x)"Vf(x,)] ', 取 
= [VfCx) VACx)] VAC) f(x). 
Step 4 ”进行 一 维 搜索 . 求 和 和 zx, ,使 得 
s(x +Aid;) = mins(x, +Ad,), 
Kist = + Aid,. 
今 上 =k+1, 返 回 Step 2. 
同 阻尼 Newton 法 一 样 ,阻尼 Gauss - Newton 法 具有 全 局 收 伍 性 . 


7.5.3 Levenberg - Marquardt 法 


在 Gauss - Newton 法 中 ,我 们 要 求 V f(x,) 是 列 满 秩 的 . 但 遗憾 的 是 ,常常 出 
现 Vf(x,) 不 是 列 满 秩 的 情形 . 此 时 ,迭代 将 无 法 进行 下 去 . 为 此 , Levenberg 
(1944) 和 Marquardt( 1963 ) 对 Gauss - Newton 法 作 了 如 下 修正 :把 一 个 正定 矩阵 
ai 加 到 f(x,)" Vf(x,) 上 去 (a >0 为 参数 , 为 n 阶 单位 矩阵 ) ,使 之 成 为 
正定 矩阵 ,然后 令 
di =-[VICx) VAG) +ad VCc)Tz)， (7.5.11) 
isl Ei + C7.5.12) 
由 (7.5.11) 和 (7.5.12) 两 式 确定 的 迭代 算法 称 为 Levenberg - Marquardt 法 , 简 
称 为 最 小 二 乘 LM 法 . 由 (7. 5. 11 ) 式 确定 的 d, 称 为 LM 方向 . 
容易 知道 , 当 玉 f(x,)" V(x) +asl, 为 正定 矩阵 时 ,由 (7.5. 11) 式 确定 的 
d, 是 s(x) 在 点 x, 处 的 下 降 方向 . 
定理 7.5.3 设 a,>0,d, 由 (7.5.11) 式 确定 , 则 d, 是 最 优化 问题 
min| Vf(x)y +f(x.) 23 
[ex lyl < ladl 
的 全 局 极 小 点 ;并 且 , 当 a 适当 大 时 ,有 
St + 人 二) <s(x); (7.5.14) 
当 a 充分 大 时 ,方向 d 与 方向 -Vs(x,) 充 分 接近 . 
证 明 (1) 显然 d, 是 问题 (7. 5. 13 ) 的 可 行 点 . 记 
py) = VACr)y +f(x) |， 


(7.5.13) 


则 由 (7.5. 11) 式 可 知 
p(y) = 并 六 (cz VX)Y +2y Vf(xi) f(x) +FCz) f(x,) 
=y VACx)T VACx)y -2 [VACE) WA) + ol, Jd, +f(x2) fx), 
从 而 
pdi) = -dl Vf(x) Vf(x)d, -20did, +f(x,) f(x,). 
于 是 对 于 满足 ly 1 < ld | 的 任意 了 ,利用 Cauchy 不 等 式 ,并 注意 到 ak >0， 
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VA(r) VCr) 是 半 正 定 和 矩阵, 可 得 
p(y)-p(d) =(d-y) Vf(x) VACxi) (di -7) +2ar(d -7) di 
(dy) Vf) Vf) (di -y) +20 (Nd | -lyl) al 
>0, 
这 说 明 d, 是 问题 (7. 5. 13 ) 的 全 局 极 小 点 . 
(2) 设 半 正定 矩阵 的 了 (x,)” VV f(x,) 特 征 值 为 pp.,p3,…,p,, 则 jj 宇 0， 
j=1,2,…,n, 且 存在 正 交 和 矩 阵 P, 使 
P' [Vf ) f(x) JP=D= diag(p Am) 
由 PTP=PP"=1, 和 Vf(x,) "Vf(x,) =PDP" 及 (7.5.11) 式 有 


di = -P(D+al,) PT Vf(x,) f(x,). (7.5.15) 
记 
z= 5) =P" Vf(x,) f(x,), (7.5.16) 
则 由 (7.5.15) 式 可 得 
hp -aa < a 
Na =z{(D+al.) z= p> ray (7.5.17) 
由 此 显然 有 
Jim lg, 1 >: =0. (7.5.18) 


注意 到 (7. 5. 11) 式 确定 的 方向 d 是 s(x) 在 点 x 处 的 下 降 方向 , 当 m 适当 
大 时 ,(7.5. 18) 式 表明 x, + 中 是 从 点 x 出 发 沿 下 降 方 向 作 很 小 的 移动 , 故 
(7. 5. 14) 式 成 立 . 
(3) 记 d 与 -Vs(x,) 的 夹 角 为 p, 则 
-di Vs(x,) 
Pal Tvs 
由 (7.5.16) 和 (7.5.15) 两 式 得 
Vs(x) =2 V(r) fx,) =2Pz, 
d,= -P(D+al,)'z, 
从 而 根据 (7. 5. 17) 式 可 得 
2z'[(D +o.l,)']'P'Pz 
la “214z1 


cosp = 


[i] 1 EAE 


lim cosp =1， 
ai 


这 表明 , 当 a 充分 大 时 ,方向 d, 与 方向 -Vs(x,) 接 近 . 0 
a 


=-[ 立 元 


Ha + 


于 是 


我 们 知道 ,Gauss - Newton 方向 是 线性 最 小 二 乘 问题 
min| Vf(xi)y +f(x.) 有 

的 最 优 解 ,LM 方向 d, 虽然 依赖 于 参数 a ,但 定理 7.5.3 表明 ,di 也 是 相应 的 线 
性 最 小 二 乘 问题 在 范 数 限制 下 的 最 优 解 . 在 最 小 二 乘 LM 法 中 , 当 a =0 时 ,由 
(7.5. 11) 式 确定 的 d 就 是 Gauss - Newton 方向 . 根据 定理 7.5.3 知 , 随 着 a, 的 
增 大 ,LM 方向 逐步 向 -Vs(x,) 偏 移 , 当 os 充分 大 时 便 充 分 接近 s(x) 在 点 x 处 
的 最 速 下 降 方向 . 因此 ,在 最 小 二 乘 LM 法 的 迭代 中 要 限制 w 值 的 增 大 ,否则 ， 
会 减 慢 算法 的 收敛 速度 . 另 一 方面 ,如 果 ax 太 小 , 则 由 定理 7.5.3 知 不 能 保证 在 
和 迭代 过 程 中 使 目标 函数 值 下 降 . 所 以 ,如 何 确定 参数 a, 是 LM 法 的 一 个 重要 
问题 . 

算法 7 -9( 最 小 二 乘 LM 法 ) 

Step 1 选取 初始 数据 . 选取 初始 点 xo ,给 定 初始 参数 wo > 0 ,放大 因子 B>1 
及 允许 误差 e >0. 

Step 2 求 初始 目标 函数 值 . 计算 f(x。) 及 s(x。), 令 k=0. 

Step 3 求 Jacobi 矩阵 . 计算 V f(x,). 

Step 4 ”检查 是 否 满足 终止 准则 . 若 

| VAG) f(x) 1 <e， 

迭代 终止 ,x, 为 问题 (7. 5.7) 的 近似 最 优 解 ;否则 , 转 Step 5. 

Step 5 构造 LM 方向 . 计算 [Vf(x)" Vf(x) +al.] , 令 

d= -[Vfx) Wor tal,)] VOD) fx,). 

Step 6 ”检查 目标 函数 是 否 下 降 . 计算 f(x +di) 及 s(x+d,) , 若 s(xi +d,) 
<s(x,) , 转 Step 8; 否 则 , 转 Step 7. 

Step 7 ”放大 参数 . 令 at:= Ba ,返回 Step 5. 

Step 8 缩小 参数 . 令 zi =zi +diatt =a/B,k:=k+1, 返 回 Step 3. 

初始 参数 a。 和 放大 因子 B 应 取 适 当 数 值 ,例如 ,根据 经 验 可 取 ao = 
0.01,B = 10. 

可 以 证 明 , 最 小 二 乘 LM 法 具有 全 局 收敛 性 ,详细 证 明 参 见 文献 [ 16,50]. 


7.6 信赖 域 法 


我 们 知道 Newton 法 存在 两 点 不 足 : 一 是 不 具备 全 局 收敛 性 ,二 是 要 求 目标 
函数 的 Hesse 矩阵 正定 .7. 2 节 中 采用 最 优 一 维 搜索 的 阻尼 Newton 法 克服 了 第 
一 点 不 足 ;为 了 克服 第 二 点 不 足 , 本 节 介绍 一 种 新 的 方法 一 一 信赖 域 法 . 

假设 问题 (7.1.1) 的 目标 函数 /具有 二 阶 连续 偏 导数 ,第 次 迭代 点 为 xi， 
根据 二 阶 Taylor 展开 式 , 有 
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[x4 +)=pa0) =f (x) + VS x) Ty + V(x)y. 


如 果 V2A(xi) 正 定 ,那么 可 以 用 ws(?) 的 极 小 点 d, 来 修正 x,, 得 到 这 ,=x + 
小 ,这 就 是 Newton 迭代 的 思想 ;否则 ws(?) 可 能 没有 极 小 点 ,从 而 使 得 Newton 和 迭 
代 无 法 进行 下 去 ,并 且 只 有 当 1 y 上 很 小 时 p,(y) 才 能 较 好 地 近似 于 f(x +y) ， 
因此 ,我 们 用 p,(y) 在 

D(h)=1y| yl 大 各 >0 
上 的 极 小 点 d 来 修正 x ,其 中 参数 心 的 选取 使 得 /(x) 从 x 到 xs +d 的 实际 下 
降 量 

Ah =f (x.) -f(x +d,) >0, 

此 时 称 区 域 D(h, ) 为 信赖 域 (trust region) , 称 参数 h, 为 信赖 域 半 径 . 这 样 得 到 信 
赖 域 子 问题 


ming,() = CE) + VS VC 6 


st yl <h,, 
这 个 最 优化 问题 的 目标 函数 是 二 次 函数 ,约束 是 一 个 非 线性 不 等 式 . 


7.6.1 信和 赖 域 半径 的 确定 


首先 要 解决 的 是 信赖 域 半径 的 存在 性 问题 . 
定理 7.6.1 若 了 f(x) 0, 则 存在 h >0, 使 得 问题 (7.6.1) 的 全 局 极 小 点 
di 满足 f(x +d,) <f(xi) ,BT Af, >0. 


证 明 反 证 法 . 假设 结论 不 成 立 , 令 心 = 二 (k=1,2,…) , 则 问题 (7.6. 1) 的 


全 局 极 小 点 d, ,使 得 
f(xi+di) f(x) ,k=1,2,.. (7.6.2) 
车 d, =0, 则 由 d, 是 问题 (7.6.1) 的 全 局 极 小 点 可 知 ,d, 也 是 函数 pg,(y) 的 一 个 
局 部 极 小 点 ,从 而 由 定理 3.1.1 可 得 
Vf(x) =V 9.(0) =0， 
与 条 件 矛盾 . 因此 dx*0, 即 0< ad 三 有 ,da 1 一 0(k 一 % ). 
记忆 = 下 他, 则 1 是 有 界 点 列 ,于 是 存在 收 伍 的 子 列 jp|- 设 lmpu。 江 
万 ,显然 | 五 | =1. 
根据 一 阶 Taylor 展开 式 , 有 
fxrtdi) =f x) + Vf Cx) di to Ndi) =12…， 
所 以 由 (7.6.2) 式 ,有 
Vf(xi)"d,, +o( di | )>0,m=1,2,…, 
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上 式 两 边 同 除 以 | ds || ,再 令 m 一 % ,得 
Vf(x) p>0. (7.6.3) 
另 一 方面 , 因 d, 是 问题 (7. 6. 1 ) 的 全 局 极 小 点 , 故 必 有 


即 
+ al, 
Na | Vf/ CD) pi tT Pi Vf (xP 
<- Nal hv)l rt ) 7 V(X) V(x,) 
> . 21V/(x) 1 “ 生生 


m=1,2,…, 
上 式 两 边 同 除 以 di. | ,再 令 m 一 % ,得 
V/(x) p<- IV/(x) 1 <0, 
此 与 (7. 6. 3 ) 式 矛盾 . 0 
这 个 定理 指出 信赖 域 半 径 是 存在 的 . 下 面 来 讨论 信赖 域 半径 的 选取 方法 . 
令 估计 下 降 量 
Aps =/ (x) -pi(di)， 
易 知 , 当 V/(x,) #0 时 ,有 Ap >0. 这 是 因为 , 若 Ap,<0, 则 
epx(0) =f (x) < 9p.(d,), 
而 d, 是 问题 (7. 6. 1) 的 全 局 极 小 点 , 即 
pldi)<p(3), VY Nyl < dl, 
所 以 ,y =0 是 函数 p,(y) 的 一 个 局 部 极 小 点 ,从 而 由 定理 3.1.1 有 
VACr =V 9¢.(0) =0. 
利用 实际 下 降 量 与 估计 下 降 量 的 比值 
-MY 
Ap:” 
来 衡量 pi(di) 与 /(x + ds) 的 近似 程度 . 当 rm 接近 于 1 时 ,表明 近似 程度 好 , 取 
xi =Xs+d, 应 当 使 h 的 值 不 变 或 增 大 ; 当 rm 接近 0 或 小 于 0 时 ,表明 近似 程 
度 差 . 取 x,,, =x ,应当 减 小 h, 的 值 . 
基于 以 上 分 析 ,可 以 给 出 信赖 域 的 一 个 模式 算法 . 
算法 7 -10( 信 和 赖 域 法 ) 
Step 1 选取 初始 数据 . 选取 初始 点 xo, 给 定 允 许 误差 a > 0 ,初始 信赖 域 半 
径 h。>0,0 <B<y<1,0<9<1,p>1, 令 k=0. 
Step 2 ”检查 是 否 满足 终止 准则 ,计算 VA(x) 和 V(x,), 若 上 Vf(x) 1 
<e, 和 迭代 终止 ,zs 为 问题 (7.1.1) 的 近似 最 优 解 . 
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Step 3 求解 二 次 规划 问题 (7. 6. 1) ,得 到 解 d,. 

Step 4 计算 f(x +d,) 和 7 的 值 . 

Step 5 车 r<B, 则 令 h,, =91 di ;车 7 >y, 且 上 di =h, 则 令 ,= 
ph; 否则 , 令 hi,, =h,. 

Step 6 若 产 和 0, 令 xi = 否则 , 令 本 =x +d,. 

Step 7 邻 k:=k+1, 转 Step 2. 

根据 经 验 ,可 选取 信赖 域 法 中 参数 h。= 上 Vf(xo) ,B=0.25,y =0.75， 
0 =0.25,p =2. 


在 适当 的 条 件 下 ,信赖 域 法 具有 全 局 收敛 性 ,并 且 是 二 阶 收 全 的 ,参见 文献 
[50]. 


7.6.2 信和 赖 域 子 问题 的 求解 


显然 ,问题 (7. 5. 13 ) 是 一 个 信赖 域 子 问题 ,所 以 根据 定理 7. 5. 3 ,最 小 二 乘 
LM 法 也 是 一 种 信赖 域 法 . 因此 ,我 们 可 以 把 最 小 二 乘 LM 法 的 思想 应 用 于 求解 
信赖 域 子 问题 :对 矩阵 V(x,) ,加 上 一 个 正定 矩阵 as1,( a >0) ,使 之 成 为 正定 
矩阵 V(x) + oT, 从 而 弥补 耳 V*f(x,) 可 能 不 正定 的 缺陷 . 这 就 是 信赖 域 LM 
法 的 基本 思想 . 

定理 7.6.2 设 d, 是 问题 (7.6.1) 的 可 行 点 , 则 d, 为 问题 (7.6.1) 的 全 局 极 
小 点 的 充 要 条 件 是 存在 数 a, 宇 0 ,使 得 

[V(x) tal ld = -Vf(x), 
{es - la’)=0, 

并 且 V/(x) +asl, 是 半 正 定 矩 阵 . 

证 明 必要 性 . 设 d, 为 问题 (7.6.1) 的 全 局 极 小 点 , 则 K-T 条 件 成 立 , 即 
(7. 6.4) 式 成 立 . 再 证 Vf(x,) + awl, 是 半 正 定 矩阵 . 

当 | di 上 < 心 时 ,as =0, 且 d, 是 函数 gp,(y) 的 局 部 极 小 点 ,从 而 定理 3.1.2 
可 知 ,V ps(d,) = Vf(x,) 是 半 正 定 矩 阵 , 即 V(x,) + az 是 半 正 定 矩阵 . 

当 | d=h, 时 ,由 h>0 知 dz0. 根据 (7.6.4) 式 中 的 第 1 式 , 对 于 一 切 
yeR", 有 


(7.6.4) 


pi0) -pid) = VI) Ty -a) + VC)y -Bd VI (x) ad 


0 -ad) (VI) +al,) (y -di) + al? = Ny). 
(7.6.5) 

因 d; 为 问题 (7. 6. 1) 的 全 局 极 小 点 , 故 

pi(y)=09.(d),Y yl < ldl, 


9 * 


于 是 由 (7. 6.5) 式 知 
Fa) TV real)O-d)>O YI1=1al (7.66) 


对 于 任意 xeR"*, 若 xdiz0, 取 


二 


t= 到 
2xrd rl 


(x'xd, -2xzrdixz)， 


则 有 
x=t(y-d), yl = Hdl, 
从 而 由 (7. 6.6) 式 可 得 
x [Vf(x) +al,]x>0; (7.6.7) 
若 rrd, =0, 令 


则 limx。=x, 且 由 dz0 知 rd, 天 0 根据 前 面 的 讨论 ,有 
x [Vf (x) +oal,]x, 20,m=1,2,.…, 
在 上 式 中 , 令 mm , 即 知 (7.6.7) 式 也 成 立 . 于 是 V(x,) + ql, 是 半 正 定 的 . 
充分 性 设 d, 是 问题 (7. 6. 1) 的 可 行 点 , 且 存在 数 ws >0, 使 得 (7.6.4) 式 成 
立 , 而 Vf (x,) +asl, 是 半 正 定 矩阵 . 
当 上 di 中 <h 时 ,as =0, 故 V27(zi) 是 半 正 定 矩阵 ,从 而 pi(?) 是 凸 函数 ,并 
且 由 (7.6.4) 式 有 
Vold) =V/(x) + V(r)d, =0, 
于 是 由 定理 3.1.4 知 ,d 是 凸 函数 p,(y) 的 全 局 极 小 点 , 即 知 di 为 问题 (7. 6. 1) 
的 全 局 极 小 点 . 
当 ||d, =hh 时 ,根据 (7.6.5) 式 ,并 注意 到 V(x,) + ol, 是 半 正定 矩阵 ， 
o>0, 因 此 ,对 于 问题 (7.6.1) 的 任何 可 行 点 y, 即 yy <h= 上 di 中, 均 有 


gi(y) -pt(d) =0. 这 表明 d 是 问题 (7. 6. 1) 的 全 局 极 小 点 . 0 
根据 定理 7. 6. 2 ,我们 可 以 通过 求解 方程 组 
[Vf (x) +a]y= -Vf(x) (oa,>0) (7.6.8) 


来 确定 问题 (7. 6. 1) 的 解 : 如 果 和 抑 阵 VF(z) + as1, 正定 ,并 且 方 程 组 (7.6.8) 
的 解 
di= -[V/(x) +oal] Vf/(x,) 
满足 | d 上 <h, ,那么 d 是 问题 (7. 6. 1) 的 全 局 极 小 点 . 特别 地 , 当 Vf(x,) 是 正 
定 和 矩阵 , 且 上 V(x)] VfA(x) | < 和 时， 
di= -LV Vf/(x,) 
为 凸 规划 问题 (7. 6. 1 ) 的 惟一 的 全 局 极 小 点 . 
a 


定理 7.6.3 设 ViJ(r:) +asl, 是 正定 矩阵 , 则 
Mal = V2) to lV/(x) 1 
是 a 的 单调 减 小 函数 . 
证 明 设 对 称 矩 阵 Vz7(xs) 的 特征 值 为 上 ,wa ,…,, 则 存在 正 交 矩阵 尸 ,使 
得 
PY Vif (x.)P = diag( Na Nos). 
记 PI 玉 A(x) = (3 和 ,za), 类 似 于 定理 7.5.3 中 (2) 的 证 明 ,可 得 


i 
. (pita)” 


由 此 即 知 , | di ”从 而 | di 中 是 as 的 单调 减 小 函数 . 0 

由 定理 7. 6.3 可 知 ,调整 h, 可 以 通过 调整 w 来 实现 : 增 大 ak 相当 于 减 小 
hh; 减 小 ax 相当 于 增 大 各- 

根据 信赖 域 法 ,我 们 给 出 信赖 域 LM 法 的 具体 步骤 . 

算法 7 -11( 信赖 域 LM 法 ) 

Step 1 选取 初始 数据 . 选取 初始 点 xf, 选取 a。>0, 给 定 允 许 误 差 a >0， 
0<B<y<1,0<09<1,p>1, 令 k=0. 

Step 2 ”检查 是 否 满足 终止 准则 . 计算 VfA(x,) 和 V(x) ,车 上 Vf(x) 1 
<e ,和 迭代 终止 ,xz 为 问题 (7. 1. 1) 的 近似 最 优 解 . 

Step 3 ”构造 矩阵 V2f(x) + ait,, 若 该 矩阵 不 正定 , 令 oa:=pa ,重复 Step 3; 
否则 转 Step 4. 

Step 4 求解 方程 组 (7. 6.8) ,得 出 d,. 

Step 5 计算 J(xs +d) 和 7 的 值 . 

Step 6 车 r<B, 则 令 @a,,, =pas; 若 >7, 令 ,i =0a4; 否 则 , 令 ay =a 

Step 7 车 <0, 令 ,i =X; 否则 , 令 ,=X +d 

Step 8 邻 k=k+1, 转 Step 2. 

同样 ,信赖 域 LM 法 中 的 参数 可 按 经 验 选取 ,一 般 取 a。=0.01,B=0.25,y = 
0.75,0=0.5,p=4. 


习 题 七 ] 


1. 用 最 速 下 降 法 求解 问题 : 
min(x, -2)2 + (x, -2x2)°, 
取 初 始点 x。= (0,3) ,允许 误差 =0.4. 
2. 用 最 速 下 降 法 求解 正定 二 次 函数 的 无 约束 最 优化 问题 (7. 1. 5) ,证 明 : 
_LYACzDT7 Vf 
fa) -fm ) SIT OV) 
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其 中 xx 和 二 ,分 别 为 第 次 和 第 +1 次 选 代 点 . 
3. 设 /:R" 一 R 具有 二 阶 连续 偏 导 数 , 且 对 一 切 x eR",V*f(x) 为 正定 矩阵 . 试 说 明 把 最 
过 下 降 法 应 用 于 问题 minf(x) 时 ,得 到 近似 迁 代 公式 
V(r) Vf/(x) BE 
Tf VFI VID 0 2 
试 证 这 个 公式 给 出 的 算法 是 下 降 算法 . 并 用 给 出 的 算法 求解 问题 


min 2x + (x —1)°, 


= 


取 初 始点 mo = (1,0)", 选 代 三 次 . 
4， 用 Newton 法 求解 下 列 问题 : 
(1) min 2x? + x +2x,x +x) ~ x,, 
取 初 始点 x。= (0,0)7; 
(2) min 2x° + (x, -1)*, 
取 初 始点 x。= (1,0) ,允许 误差 =0.2. 
5. 用 阻尼 Newton 法 求解 下 列 问题 : 


(1) min 一 一， 
(m1 +e +2) 
取 初 始点 ro = (4,0) ,允许 误差 e=10…; 
(2) min(x, -1) + (x, x), 
取 初 始点 re = (0,0) ,允许 误差 e= 10…. 
6. 试 完成 定理 7. 2. 2 的 证 明 . 


7. 设 QeR' ”为 正定 矩阵 ,di ,d,,… ,d. e R" 是 一 组 线性 无 关 向 量 , 且 


d,, k=1, 
p= 忆 d'Qd, 
di -5 dd, k>2. 
£5 diQd 


试 证 :P, ,Pa,…,P, 是 一 组 Q 共 思 向 量 . 
8. 设 QeR ”为 正定 矩阵 ,do ,d ,…,d,-, 是 一 组 Q 共 辐 的 非 零 向 量 , 证 明 : 正 定 二 次 对 
数 的 无 约束 最 优化 问题 (7.3.3) 的 最 优 和 解 为 
9. 用 FR 共 思 梯 度 法 求解 下 列 问 题 : 
(1) min xi +2x? -2xx +2x, +2， 
取 初 始点 re = (0,0)"; 
(2) min(z -1) + (x -x), 
取 初始 点 re = (0,0)7 ,允许 误差 < =0. 1. 
10. 用 DM 共 思 梯度 法 和 PRP 共 二 梯度 法 分 别 求解 第 9 题 中 (2) . 
11. 试验 证 :DFP 公式 和 BFGS 公式 产生 的 迭代 和 矩阵 G,., 满 足 拟 Newton 条 件 . 
12. 设 4ea' 为 正定 矩阵 ,apeR", 且 mh4-m 关 -1, 试 证 Sherman - Morrison 公式 
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Tar 


(4 +) "=A -A 


13. 用 DFP 法 和 BFGS 法 求解 第 9 题 . 
14. 求解 线性 最 小 二 乘 问题 
min ‖ Ax -bl >， 


七 由 


Ee =0， 


其 中 


15, 设 有 非 线性 方程 组 


2x +x, -2 =0. 
(1) 列 出 这 个 方程 组 的 最 小 二 乘 问 题 的 数学 模型 ; 
(2) 写 出 Gauss - Newton 方向 ; 
(3) 取 初 始点 ro = (2,2)", 用 Gauss - Newton 法 迭代 两 次 . 
16. 用 最 小 二 乘 LM 法 求解 第 15 题 中 最 小 二 乘 问题 , 仍 取 初 始点 x。= (2,2)" ,并 取 初始 
参数 a。=0.01, 放 大 因子 B=10, 迁 代 两 次 . 
17. 用 信赖 域 LM 法 求解 最 优化 问题 : 


3 
使 9() = 27 +37 -4 -7-6 


s.t. ys<1， 
其 中 ?= (y,,y,)", 取 允许 误差 =0.001. 
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第 八 章 ”无 约束 最 优化 的 直接 法 


第 七 章 介绍 的 无 约束 最 优化 的 解析 法 ,都 要 计算 目标 函数 的 一 阶 导数 甚至 
二 阶 导数 ,但 是 ,在 有 些 无 约束 最 优化 问题 中 ,目标 函数 的 解析 表达 式 比 较 复杂 
或 者 难以 用 明显 的 解析 式 表示 出 来 ,因而 其 导数 很 难 求 出 或 者 无 法 求 出 ,这 就 要 
求 我 们 给 出 一 些 只 涉及 目标 函数 值 的 计算 而 不 涉及 目标 函数 的 导数 的 求解 方 
法 . 这 类 仅仅 利用 目标 函数 值 的 信息 直接 建立 搜索 求解 的 方法 通常 称 为 直接 搜 
索 法 (direct search method) ,简称 为 直接 法 . 尽管 直接 法 因 未 利用 目标 函数 导数 
的 信息 可 能 会 影响 算法 的 效果 ,但 直接 法 构思 直观 ,使 用 方便 ,效果 稳定 ,实际 工 
作者 是 很 愿意 采用 的 . 本 章 将 介绍 几 种 具有 代表 性 的 直接 法 . 


8.1 坐标 轮换 法 


坐标 轮换 法 (univariate search technique) 是 D'esopo(1959 ) 提出 来 的 ,下 面 叙 
述 它 的 基本 原理 . 
考虑 无 约束 最 优化 问题 
minf (x), (8.1.1) 
其 中 x eR",/: R"—R. 
给 定 xoe R", 先 从 点 x。 出 发 沿 第 一 个 坐标 轴 方 向 e, = (1,0,…,0)" 进行 一 
维 搜索 , 求 A。 和 x, ,使 得 
f(xo + Aoei) = min f(xo + Ae,), 
XI = Xo + Aoei- 
再 从 点 x, 出 发 , 沿 第 二 个 坐标 轴 方 向 e; = (0,1,0,…,0) 进行 一 维 搜索 , 求 和 ， 
和 za ,使 得 
f(x + Aie:) = min f(x + Ae,), 
xX, = xX + Ales. 
重复 上 述 步骤, 最 后 从 点 x。 出 发 , 沿 第 个 坐标 轴 方 向 e, = (0,…,0,1) 进行 
一 维 搜索 , 求 A。, 和 x, ,使 得 
f xo + Asses) = minf (x + Ae,), 
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Xs = Tl 十 入 IEn- 
易 知 
fx) 二 (zi = 112 (8.1.2) 
设 给 定 的 允许 误差 a >0, 如 果 
x, -xoll <e， 
则 迭代 终止 ,x, 为 问题 (8.1.1) 的 近似 最 优 解 ;否则 ,重复 上 述 步 又 , 即 从 点 x。 
出 发 ,依次 沿 坐标 轴 方 向 e, ,e,,… ,e, 进行 一 维 搜索 . 
需要 指出 的 是 ,坐标 轮换 法 中 究竟 应 把 哪个 坐标 轴 方向 放 在 前 面 哪个 坐标 
轴 方 向 放 在 后 面 进行 一 维 搜索 ,将 会 对 算法 的 收敛 速度 产生 较 大 的 影响 . 在 实际 
问题 中 ,可 以 按 各 因素 (变量 ) 对 试验 结果 影响 大 小 ,依次 自前 往 后 排列 坐标 轴 
方向 . 
算法 8 -1( 坐标 轮换 法 ) 
Step 1 选取 初始 数据 . 选取 初始 点 x。 ,给 定 允许 误差 e >0, 令 k=1. 
Step 2 ”进行 一 维 搜索 . 从 点 x, 出 发 , 沿 坐 标 轴 方 向 e 进行 一 维 搜索 , 求 
A4-1 和 x ,使 得 
J(z +Aies) = minf (x + Ae,), 
Kh = 二 
Step 3 ”检验 迭代 次 数 . 若 k=n, 转 Step 4; 否 则 , 令 上 =k+1, 返 回 Step 2. 
Step 4 ”检查 是 否 满足 终止 准则 . 若 | x, -xo ‖ <, 终止 移 代 ,得 x, 为 问题 
(8. 1.1) 的 近似 最 优 解 ; 否 则 , 令 xo:=x,,k:=1, 返 回 Step 2. 
例 8.1.1 用 坐标 轮换 法 求解 问题 
minf (x) = x? +x2 — 3x, — XX, (8.1.3) 
其 中 x =(xi,x,)". 取 初 始点 x。=(0,0)", 允 许 误差 s=0.1. 
解 ”从 点 zo 出 发 沿 @, 进行 一 维 搜索 , 易 得 


Ao = Ee = Xo +Aoe, = (3.0) ， 


从 点 xx 出 发 沿 e, 进行 一 维 搜索 ,得 
和 = 
lx -ml > < 
再 从 点 x 出 发 沿 e, 进行 一 维 搜索 ,得 


PE 言 , = x + Azel = (草地 ) ; 


从 点 x 出 发 沿 e, 进行 一 维 搜索 ,得 
A 15 15) , 


ss = x +Aes = 16 


= 
16 
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lx 一 za >e. 


再 从 点 x 出 发 沿 e, 进行 一 维 搜索 ,得 
3 
A4 = 3 了" = X4 + A4el = (去 
从 点 xs 出 发 沿 e; 进行 一 维 搜索 ,得 


T 
A 
lx -xll >e. 
再 从 点 xs 出 发 沿 e, 进行 一 维 搜索 ,得 

3 T 

从 点 x 出 发 沿 e: 进行 一 维 搜索 ,得 
.3 _ 1255 255\™ 
A = 256°™: = XxX; + A,e, = (1: 玉 ; 


|xs -xl <e. 
迭代 终止 ,得 问题 (8.1.3) 的 近似 最 优 解 为 
_ {255 255\" 
"= (T8355) 
其 实 问题 (8. 1.3) 的 最 优 解 为 (2,1)". 0 
下 面 给 出 坐标 轮换 法 的 收敛 性 定理 ,为 此 先 证 明 一 个 引 理 . 
引 理 8.1.1 设 /:R"->RR 为 连续 函数 . 若 对 于 固定 的 j(1<j<n), 有 
minf (ys + Ae) =/ (yr + Ate) sk = 1,2,, (8.1.4) 
记 纠 (j) =y+Aiej,k=1,2,…, 且 有 
limy, =7, limz()) = 五， 
则 
minf(F+Ae) =/(5). 
证 明 由 (8.1.4) 式 可 知 ,对 任意 As 下 ,都 有 
f(z(7)) < + Ae),k = 1,2,. 
根据 /的 连续 性 , 令 k->% ,对 上 式 两 边 取 极 限 ,得 


f(z) <f(F +Ae), VAER. (8.1.5) 
因为 limy, =3, limz(]) = 纪 , 且 z(j) = 内 二 Ase ,所 以 | A,| 存在 极限 , 设 其 极限 为 
A, 则 有 羽 = 了 +Ae,, 从 而 由 (8.1.5) 式 得 :minf( 了 +Ae;) =f(z,). 0 


定理 8.1.2 设 /:R"R 具有 一 阶 连续 偏 导 数 ,x。e R", 记 a=/(x。o), 且 水 
平 集 5(/,a) 有 界 . 若 1x,| 是 用 坐标 轮换 法 求解 问题 (8.1. 1) 产 生 的 点 列 , 且 在 
每 次 一 维 搜索 中 所 得 到 的 最 优 解 都 是 惟一 的 , 则 
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(1) 当 |xi1 为 有 穷 点 列 时 ,其 最 后 一 个 点 为 /的 平稳 点 ; 

(2) 当 {x| 为 无 穷 点 列 时 , 它 必 有 极限 点 ,并 且 其 任 一 极限 点 都 是 /的 平 
稳 点 . 

证 明 (1) 当 ! xs 为 有 穷 点 列 时 ,由 算法 的 终止 条 件 可 知 , |x,| 的 最 后 一 
个 点 rw 的 下 标 必 为 n 的 正 整数 倍 ,上 且 x。 -xs_ ,| =0, 即 知 x。=x。 ,注意 到 
点 rn -av 是 从 点 x。-,,j-' 出 发 沿 e 进行 一 维 搜索 得 到 的 (j=1,2,…,n) ,从 而 由 
(8. 1.2) 式 可 得 

fxm) sf) <7 sfx,.,), 

于 是 ,f(x。) =/(x。)) ,j=1,2,…,n. 根据 定理 中 惟一 性 假设 得 知 ,x, =x,,_， = 
… =x。,, 因 此 有 

minf (x + Ae) = (rs) ,= 12， 
由 上 式 及 定理 6. 1. 1 , 知 

Vf/(xs)e, = 0, = 1,2,.,n. 
而 e ,ez,…，,e, 是 线性 无 关 的 , 故 由 定理 7.3.2,V/(x,) =0. 
(2) 当 |x,| 为 无 穷 点 列 时 ,由 (8. 1.2) 式 知 | f(x,) | 为 单调 减少 数列 , 且 由 
fx) Sf x0) ,k= 1,2， 

可 知 ,|x.| CS(f,a). 又 注意 到 5(/,a) 是 有 界 闭 集 , 故 |x,| 为 有 界 点 列 且 连 续 函 
数 / 在 S(f,a) 上 有 界 , 即 知 数列 | /(x,) 1 存在 极限 . 

设计 为 |x,} 的 任 一 极限 点 , 且 设 ,lim xu = 对 ,因为 |x,.| 是 无 穷 点 列 , 所 以 其 
中 必 有 无 穷 多 个 点 是 沿 某 个 方向 e 进行 一 维 搜索 得 到 的 ,不 妨 设 j=n,x, 都 是 
沿 方向 e, 进行 一 维 搜索 得 到 的 . 现 记 页 =, 而 且 还 有 

minf (xs + Aes) = (rt + Abei) =f xn) 

由 于 1x*t*i| 也 是 有 界 无 穷 点 列 , 因 此 它 必 存 在 极限 点 ,不 妨 设 zx ,一 丈 ， 

故 一 Ai， 丈 = 页 + 和 ie 由 引 理 8.1.1, 可 得 
minf (3, + Ae,) =/(7,). 
因 f 连 续 , 且 数列 |/(x,)1 存 在 极限 , 故 f( 丈 ) =/( 画 ). 
由 类 似 推理 可 知 ,对 一 切 j=1,2,…,n, 都 有 
minf (¥, + Ae) =f (Fn), 
了 (页 ) =/(¥), 
i = 页 十 MEi- 
由 定理 中 惟一 性 假设 可 得 
be a 本 Et PE 
于 是 有 
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minf (E+ Aei) = 了 (三 ) 7 = 1 2 
因此 ,根据 (1) 中 相应 的 推理 知 ,V/(x) =0. 0 


8.2 模式 搜索 法 


模式 搜索 法 ( pattern search method ) 是 Hooks 和 Jeeves(1961 ) 提出 来 的 . 这 
种 方法 的 每 一 次 迭代 都 是 交替 进行 轴 向 移动 (axis direction move) 和 模式 移动 
(pattern move). 轴 向 移动 的 目的 是 探测 下 降 的 有 利 方向 ,而 模式 移动 的 目的 则 
是 沿 着 有 利 方向 加 速 移动 . 

仍 考虑 无 约束 最 优化 问题 (8. 1. 1) , 轴 向 移动 是 指 从 一 个 点 ?es R 出 发 , 依 
次 沿 坐标 轴 方 向 el,e:,…,e, 用 定 步 长 8 做 探测 性 的 搜索 移动 . 沿 e (7 = 1， 
2,…,n) 做 探测 性 移动 按 以 下 格式 进行 : 

(1) 正 轴 向 探测 ”车 /(y +6,e)) </(y) ,探测 成 功 , 取 y:=y +64ej; 否 则 , 探 
测 失败 ,再 作 负 轴 向 探测 ; 

(2) 负 轴 向 探测 ”车 /(y - 5iej) </(y) ,探测 成 功 , 取 y:=y - 84ei; 否 则 , 探 
测 失败 ,y 不 变 . 

将 每 一 次 探测 性 移动 后 得 到 的 点 ,作为 下 一 次 探测 性 移动 的 开始 点 . 经 过 n 
次 探测 性 移动 ,一 般 地 可 得 到 使 /的 值 下 降 的 点 . 这 就 完成 了 一 次 轴 向 移动 . 每 
次 轴 向 移动 的 开始 点 称 为 参考 点 ( consult point). 

设 xz,, 是 以 点 xx 为 参考 点 进行 一 次 轴 向 移动 所 得 到 的 点 . 若 

f (x14) <f x), 

则 从 点 xi, 出 发 作 模式 移动 . 否则 ,判断 是 否 有 6, < se( 其 中 6 为 第 k 次 轴 向 移 
动 的 步 长 ,s 为 给 定 的 允许 误差 )? 若 有 ,和 迭代 终止 ; 若 无 , 且 ri, =xt, 则 缩短 步 
长 , 仍 从 点 x 出 发 进行 下 一 次 轴 向 移动 ; 若 无 , 且 xs. 天 xs, 则 从 点 xx 出 发 用 步 
长 8 进行 下 一 次 轴 向 移动 . 

从 点 ,1 出 发 的 模式 移动 是 指 以 1 为 步 长 沿 加 速 方向 由 =x,， -x 移动 一 
步 ,得 到 新 的 参考 点 

yy =X +d, = 27 -Xs 

然后 ,从 新 的 参考 点 y 出 发 , 仍 以 5, 为 步 长 进行 轴 向 移动 

算法 8 -2( 模 式 搜索 法 ) 

Step 1 ”选取 初始 数据 . 选取 初始 点 ro ,初始 步 长 6。 > 0, 给 定 收 缩 因子 a e 
(0,1) ,给 定 允 许 误差 a。 >0, 令 k=0. 

Step 2 ”确定 参考 点 . 令 y=x,j=1. 

Step 3 ”进行 正 轴 向 探测 . 从 点 y 出 发 , 沿 e 作 正 轴 向 探测 : 若 / (3 + Bej) < 
f(y) , 令 y:=y+6ej, 转 Step 5; 否 则 , 转 Step 4. 
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Step 4 ”进行 负 轴 向 探测 . 从 点 y 出 发 , 沿 e 作 负 轴 向 探测 : 若 /(y - 6.e,) < 
f(y) , 令 y:=y -6,e), 转 Step 5; 否 则 , 转 Step 5. 
Step 5 检验 探测 次 数 . 若 j<n, 令 j=j+1, 返 回 Step 3; 否 则 , 令 x,,, =y, 转 
Step 6. 
Step 6 ”进行 模式 移动 . 车 f(z, ) < (x,) ,从 点 姑 , 出 发 沿 加 速 方向 x,， 
-x 作 模 式 移动 , 令 
了 = 2x — Xs 
6 =64,k:=k+1,j=1, 返 回 Step 3; 否 则 , 转 Step 7. 
Step 7 检查 是 否 满足 终止 准则 . 若 56, < e, 迁 代 终 止 ,得 问题 (8.1.1) 的 近 
似 最 优 解 为 x,; 否则 , 转 Step 8. 
Step 8 缩短 步 长 . 若 xy =x, 令 6.,1 =a6,,k:=k+1, 返 回 Step 2; 否 则 , 令 
= 0k:=k+1, 返 回 Step 2. 
例 8.2.1 用 模式 搜索 法 求解 问题 (8.1.3), 取 初始 点 x。= (0,0)", 初 始 步 
长 5 =1, 收 缩 因子 a =0. 25 ,人 允许 误差 a =0. 1. 
解 第 一 次 迭代 : 
令 初始 参考 点 y=x。= (0,0) ,因为 /(?) =0, 有 
f(y+6e) =-2 </(y), 
所 以 取 y:=y+6oe, =(1,0)". 又 有 
f(y +6e) =-2 =/(y), 
f(y -5oe:) =0 >/(y), 
故 第 一 次 轴 向 移动 结束 , 令 x, =y = (1,0)". 由 于 /(x,) </(xo) ,因此 进行 模式 
移动 ,得 下 一 个 参考 点 
y =2x, -x = (2,0)", 
取 5 =6,. 
第 二 次 迭代 : 
因为 /(y) = -2, 有 
fl(y+6e) =0 >/(y), 
f(y -6e) =-2 =/(y), 
f(y+6e) =-3 <f(y), 
所 以 取 y:=y+6,e; = (2,1)". 第 二 次 轴 向 移动 结束 , 令 x,=y=(2,1)". 由 于 
f(x,) </(x,) ,因此 进行 模式 移动 ,得 下 一 参考 点 
y=2x, -x = (3,2)", 
取 6,=6. 
第 三 次 迭代 : 
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因为 f(y) = -2, 有 
f(y +6e) =0 >f(y), 
f(y -60) =-2 =/(y), 
f(y +6e) =0 >/(y), 
f(y -6e) =-2 =/(y), 
所 以 第 三 次 轴 向 移动 结束 , 令 x， =y=(3,2)". 由 于 f(x3)>f/(x,),6,=1>0.1, 
且 z 关 za ,因此 令 xs =x, = (2,1)",6, =6,, 取 参考 点 y=x, = (2,1)". 
第 四 次 迭代 : 
因为 f(y) = -3, 有 
fl(y+6e) =-2 >/(y), 
f(y -6e) =-2 >/(y), 
fl(y+6e) =-2 >/(y), 
f(y -6e) =-2 >/(y), 
所 以 第 四 次 轴 向 移动 结束 , 令 x。=y = (2,1) 7. 注意 到 /(xs) =/(x,), 从 而 要 检 
查 步 长 大 小 . 因 6, =1 >0.1, 且 x, =x,, 故 缩短 步 长 , 令 5, = a5, =0. 25 , 取 参 考点 
y=x, =(2,1)". 
第 五 次 迭代 ， 
与 第 四 次 迭代 类 似 有 x, =x。 ,再 缩短 步 长 , 令 5; = a6, =0.062 5, 取 参考 点 
y=x,=(2,1)". 
第 六 次 迭代 : 
与 第 五 次 迭代 类 似 有 x。=x,, 但 此 时 8, =0.062 5 <0.1, 和 迭代 终止 ,得 问题 
(8.1.3) 的 近似 最 优 解 x。= (2,1)" 其 实 xs 就 是 问题 (8. 1.3) 的 最 优 解 . 0 
虽然 模式 搜索 法 可 能 要 计算 很 多 点 的 函数 值 才 能 得 到 目标 函数 的 近似 极 小 
点 ,但 是 它 易 于 在 计算 机 上 实现 ,实际 效果 也 不 错 ,因此 被 认为 是 一 种 可 靠 的 方法 
下 面 给 出 模式 搜索 法 的 收敛 性 定理 . 
设 jx,1 和 16,1 分 别 为 模式 搜索 法 求解 问题 (8.1.1) 产 生 的 迭代 点 列 和 步 长 
数列 , 则 由 5, 的 取 法 知 ,16,1 是 单调 减 小 的 且 以 0 为 下 界 , 故 存在 极限 . 从 而 根 
据 算法 的 终止 条 件 知 


lim5 = 0. (8.2.1) 
又 由 算法 的 迭代 过 程 中 x 的 定义 ,有 
f(xin) Sf x),k =0,1,2,.. (8.2.2) 


定理 8.2.1 设 /:R"-R 是 具有 一 阶 连续 偏 导数 的 凸 函 数 ,x。e R", 记 a = 
f(x。) ,并 且 水 平 集 S(f,a) 有 界 . 若 1xt| 为 由 模式 搜索 法 求解 问题 (8. 1. 1) 产 生 
的 点 列 , 则 1x,| 必 存在 极限 点 , 且 其 任 一 极限 点 都 是 问题 (8. 1. 1) 的 最 优 解 . 
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证 明 先 证 点 列 ixt} 至少 存在 一 个 极限 点 为 问题 (8. 1. 1) 的 最 优 解 . 
由 (8.2.1) 式 易 知 , 1x,| 中 必 有 无 穷 多 个 有 ,使 
2 = Ki = = Bie (8.2.3) 
其 中 xu 是 从 点 zs- 出 发 沿 e 进行 探测 性 移动 后 得 到 的 点 (j=1,2,…,n). 
由 (8.2.2) 式 知 ,| (x,)| 为 单调 减 小 数列 ,从 而 x,| ES(H,a) ,所 以 由 
5S(f,a) 的 有 界 性 知 1x,1 有 界 . 
设 {xze+ 是 有 界 点 列 | xu 上 | 的 收敛 子 列 , 且 


limxu = 于. 
又 由 (8. 2. 1) 式 可 知 , 对 于 任 给 的 5 >0, 存 在 正 整 数 有 ,使 
0<6. <6,k>k. (8.2.4) 
由 xl 的 取 法 及 (8.2.3) 式 ,有 
Cr + Bhs) Sf Ks) = 1,2 ,en (8.2.5) 
从 而 , 当 忆 > 下 时 ,有 
f xuw + 50)) Sf x1) = 1,2， (8.2.6) 


若 不 然 , 设 有 某 个 j(1<j<n) ,使 
f xu + 50)) <f xu) 
根据 (8.2.4) 式 可 知 ,存在 和 Ae (0,1) ,使 得 
But = AG,k', > 天 
于 是 ,由 /的 凸 性 ,有 
Axis + 6110)) = f(A) + A(xiwr + 6e,)) 
< (1 Af Cri) + Af (xu + 6e)) < fxiw1), 
与 (8. 2.5) 式 矛盾 . 
由 (8.2.3) 式 有 xu =xi,j,j=1,2,…,n. 因此 由 (8.2.6) 式 即 得 
fxn + 60)) f(x) = 12 
从 而 ,由 /的 连续 性 和 上 式 可 知 ,对 一 切 8>0, 有 
(+6e) >/(F), = 1,2,,n. 
这 表示 
minf (¥ + Aei) = f(x), = 1,2,%,n. 
由 此 知 
Vf(x)'e, = 0, = 1,2,,n. 

而 e ,ez ,…，,e, 线性 无 关 , 故 由 定理 7.3.2 知 ,VJ(E) =0. 根据 推论 3.1.5,# 为 
问题 (8. 1. 1) 的 最 优 解 . 

再 证 {x | 的 任 一 极限 点 都 是 问题 (8.1. 1) 的 最 优 解 . 

设 limxi, =, 由 上 知 ,| f(x)i 为 单调 减 小 数列 ,上 且 以 /() 为 下 界 , 故 
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1f (x) 1 存在 极限 . 从 而 由 了 的 连续 性 有 
limf (ze) = lmf (x) =/(x) =f(¥), 
所 以 ,x 也 是 问题 (8.1.1) 的 最 优 解 . 0 


8.3 旋转 方向 法 


旋转 方向 法 (rotating direction method ) 是 Rosenbrock (1960 ) 提出 来 的 . 这 种 
方法 是 在 每 一 次 迭代 中 采用 变 步 长 的 轴 向 移动 . 然后 利用 轴 向 的 旋转 来 产生 一 
组 新 的 方向 作为 下 一 次 迭代 的 轴 向 ,其 目的 是 为 了 加 快 收敛 速度 . 

在 模式 搜索 法 中 , 轴 向 移动 的 步 长 在 一 定 阶段 是 保持 不 变 的 ,只 有 当 满 足 某 
种 条 件 时 才 缩 短 步 长 . 在 旋转 方向 法 中 ,其 轴 向 移动 的 步 长 在 探测 过 程 中 独立 地 
随时 变化 , 即 按照 探测 的 成 功 要 增 大 步 长 ,又 随 探测 的 失败 而 缩短 步 长 . 具体 做 
法 如 下 :预先 给 定 一 个 步 长 收缩 因子 ae (0,1) 和 一 个 步 长 放大 因子 B.>1, 在 从 
点 x 到 点 xi, 的 轴 向 移动 中 , 先 从 xs 作为 参考 点 y 出 发 ,依次 沿 作 为 轴 向 的 n 
个 单位 正 交 向 量 d,d,,… ,d, 做 变 步 长 81* ,81”,… ,6,” 的 探测 性 移动 . 对 于 一 
切 j=1,2,…,n, 若 /(y+64d,) < f(y) , 则 探测 成 功 , 令 

yy 了 +580d,5 = Be”; 
车/(y+64d)) = 7(?) , 则 探测 失败 , 令 
5 = -a 
在 完成 一 次 轴 向 移动 之 后 ,把 本 次 轴 向 移动 最 后 的 那个 点 y 作 为 参考 点 开始 新 
的 一 次 轴 向 移动 ,如 此 继续 下 去 ,直到 某 一 次 轴 向 移动 中 沿 n 个 轴 向 的 探测 均 告 
失败 ,此 时 第 k+1 次 迭代 的 探测 阶段 结束 . 把 探测 阶段 结束 时 的 那个 ? 点 记 为 
xivi, 它 也 是 下 一 次 迭代 探测 阶段 的 第 一 个 参考 点 . 

为 了 提高 求解 效率 ,需要 进行 各 轴 向 的 旋转 ,并 以 新 的 n 个 单位 正 交 方向 组 
作为 下 一 次 迭代 的 轴 向 . 容易 想到 ,从 探测 阶段 的 开始 点 指向 该 探测 阶段 的 结束 
点 的 方向 x,,， -x 很 可 能 是 有 利于 目标 函数 值 下 降 的 方向 ,因此 新 的 一 组 轴 向 
应 该 包含 这 个 方向 . 

根据 探测 阶段 结果 ,有 

Kan — Ke = Ad + Asd, + + Ad,, 
其 中 入 是 探测 阶段 中 所 有 沿 方向 中 移动 的 步 长 的 代数 和 . 对 一 切 j=1,2,…， 
n, 令 
= 0， 


局 (8.3.1) 


Tad, A #0. 
每 
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再 利用 Gram - Schmidt 正 交 化 方法 将 方向 组 p, ,p,,… ,p。 进行 标准 正 交 化 . 对 一 
切 j=1,2,…,n, 作 


p,, A 
g = gip, (8.3.2) 
pi- > iq, j>2, 
gig; 
后 单位 化 , 令 
a = 1,2,.,n. 8.3.3 
A 2 


所 得 标准 正 交 化 的 方向 五, 到,… ,了 可 作为 第 +2 次 迁 代 的 一 组 轴 向 . 
定理 8.3.1 假设 di,d,，…,d, 是 一 组 单位 正 交 向 量 , 则 对 任何 一 组 A,， 
2，… ,A 和, 由 (8.3.1) ~ (8.3.3) 式 定义 的 方向 d,,d,,…,d, 也 是 单位 正 交 向量 . 
证 明 因 4d,d,,…,d, 是 一 组 正 交 的 单位 向 量 , 故 由 定理 7.3.1 知 ,di,d,， 
…,d, 是 线性 无 关 的 . 假定 存在 一 组 数 ,po ,… ,使 六 pup) =0, 记 


1= 4j|A;=01 ,1()) = |ilig1,isj}, 


则 由 (8.3.1) 式 有 
0= Zp = B+ BS Ed) 


+ 
0 
由 于 di,d;,…,d, 是 线性 无 关 的 ,因此 
b=0Ue DN 六 p=00¢n). 


tO 


但 当 je1 时 ,A,#0, 从 而 》 人 =0， 故 由 J(7) 的 定义 知 岂 =0, 所 以 扣 = =… 


i 
=A, =0. 这 就 证 明了 p, ,p，，… ,p, 线性 无 关 . 

根据 Gram - Schmidt 正 交 化 方法 可 知 ,由 (8.3.2) 和 (8.3.3) 式 产生 的 d,， 
中,…,@ 是 一 组 正 交 的 单位 向 量 . 0 

算法 8 -3( 旋 转 方向 法 ) 

Step 1 ”选取 初始 数据 . 选取 初始 点 x。, 初 始 单位 正 交 方向 组 d, ,d,,…,d， 
(可 取 qd,d,,…,d, 为 坐标 轴 方 向 e,,e;,…e, ). 给 定 初始 步 长 go = (8 ,8 
8 )7 >0, 收 缩 因子 ae (0,1) ,放大 因子 B >1, 人 允许 误差 。>0, 令 k=0. 

Step 2 ”确定 参考 点 . 取 参 考点 y=%, 并 令 z=x4,j=1. 

Step 3 ”进行 轴 向 探测 . 车/(y +5” 4d)) </(y) , 令 

y= =y+6,"d,, 8 =p6" 
转 Step 4; 否 则 , 令 8” 一 3, 转 Step 4 
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Step 4 检验 探测 次 数 . 车 j<n, 令 j:=j+1, 返 回 Step 3; 否 则 , 转 Step 5. 
Step 5 判断 探测 是 否 结束 . 若 /(y) <f(z) , 令 z=y,j=1, 返 回 Step 3; 若 
f(3) =f (2) (7) <f x), 
令 xii =y, 转 Step 6; 若 
f(y) =f(z) =f (x,), 
转 Step 7. 

Step 6 ”检查 是 否 满足 终止 准则 . 若 | xi -x 上 <s, 迭 代 终止 ,x,, 为 问题 
(8.1.1) 的 近似 最 优 解 ;否则 , 转 Step 8. 

Step 7 检验 步 长 大 小 . 车 对 一 切 j=1,2,…,n, | 8 ”| <&, 氨 代 终止 ,x, 为 
问题 (8. 1. 1) 的 近似 最 优 解 ;否则 , 令 z=y,j=1, 返 回 Step 3. 

Step 8 ”进行 轴 向 旋转 . 计算 A, ,和 A,,… ,入 ,, 利 用 (8.3. 1) ~ (8. 3.3) 式 构造 
新 的 单位 正 交 方向 ,4,,…,d,, 并 令 

d=0,8 =5 0 j=1,2,n, 
k:=k+1, 返 回 Step 2. 

例 8.3.1 用 旋转 方向 法 求解 问题 (8.1.3), 取 初始 点 x。= (0,0)", 初 始 搜 
索 方向 di = (1,0)7,d = (0,1) ,初始 步 长 6。= (1,1)", 收 缩 因 子 a=0.5, 放 大 
因子 B=3, 试 求 x 和 转轴 后 的 轴 向 . 

解 ”第 一 次 迭代 : 

令 初 始 参考 点 了 = ro,z =xo. 因为 /(y) =0, 有 

f(y+6"d) = -2</f(y), 
所 以 , 令 y=y+80di =(1,0)7,5 :=B5 =3. 又 有 
f(y+6,"d,) = -2=/(y), 
故 令 8 := -a8;”= -0.5. 由 于 /(y) </(z) ,因此 令 z=y, 继 续 作 轴 向 移动 . 因 
f(y +6" 4d) =4>/(y), 
故 令 8, := -at = -1.5. 又 有 
f(y+6,"d,) = -1.25>/(y), 
故 令 64:= -a8;”=0.25. 由 于 f(y) =f(z) ,f(y) <f(x。) ,因此 探测 阶段 结束 ， 
令 芭 ， TO 
因 x, -xu ‖ > e, 再 作 轴 向 旋转 . 先 求 各 轴 向 移动 的 步 长 代数 和 , 求 得 A， = 
A; =0, 按 (8.3.1) 式 有 
忆 = 由,P =Ad+Azd =d,. 
即 下 次 迭代 的 轴 向 仍 为 d= (1,0)7,d =(0,1) ,并 取 5 =5o=(-1.5， 
0.25)7. 
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第 二 次 迭代 : 
以 y=(1,0)" 为 参考 点 , 令 z=(1,0)", 重 新 开始 轴 向 移动 . 因为 
f(y+6, 4d) =1.75 >f/(y), 
所 以 取 6, := -a8'”=0.75. 又 有 
f(y+6,"d,) = -2.1875 <f(y), 
故 令 y:=y+8, 4d, = (1,0.25) ,5 :=B 6,”=0.75. 由 于 /(y) <f(z) ,因此 令 
z=y. 继续 作 轴 向 移动 . 因为 
f(y+6'"d,) = -2.562 5 </f(y), 
故 令 y:=y+8 d=(1.75,0.25)",84 :=B 8,”=2.25. 又 有 
f(y+6, 可) = -2.937 5 </(y), 
故 令 y:=y+6, di =(1.75,1)7,8 7 = 有 585 =2.25. 由 于 f(y) </(z) ,因此 令 z 
=y. 继续 作 轴 向 移动 . 因为 
f(y +6, 4d) =1>/(y), 
所 以 取 81 := ~a8,”= -1.125. 又 有 
f(y+6," qd,) =1.562 5>/(y), 
故 令 86, = -a8, ”= -1.125. 由 于 f(y) =f(z) ,f(y) <f/(x,) ,因此 探测 阶段 结 
东 , 令 x = 了 =(1.75,1)7. 
因 | x: -zx >, 再 进行 轴 向 旋转 . 先 求 各 轴 向 移动 的 步 长 的 代数 和 ,得 
A =0.75,A; =1, 按 (8.3.1) 式 有 
Pi =Aid +Aad =(0.75,1) ， 
p2 =Asd, =(0,1) 7 
从 而 由 (8.3.2) 和 (8.3.3) 式 得 到 新 的 一 组 轴 向 
d, =(0.6,0.8)",d, =(-0.8,0.6)7 0 
由 于 旋转 方向 法 的 转轴 条 件 和 转轴 后 所 取 的 步 长 不 其 合理 ,因此 方法 的 收 
敛 性 问题 一 直 没 有 解决 . Davies,Swann 和 Campey 将 旋转 方向 法 中 沿 轴 向 的 变 步 
长 移动 改 为 沿 轴 向 做 最 优 一 维 搜索 ,给 出 了 修正 的 旋转 方向 法 ,而 修正 的 旋转 方 
向 法 是 收敛 的 (参见 文献 [16 ,48 ] ). 


8.4 Powell 法 


本 节 介 绍 由 Powell(1964) 提 出 的 一 种 求解 无 约束 最 优化 问题 (8. 1. 1) 的 直 
接 法 , 它 本 质 上 是 以 正定 二 次 函数 为 背景 ,以 共 示 方 向 为 基础 的 一 种 方法 . 


i 


8.4.1 原始 Powell 法 
考虑 正定 二 次 函数 的 无 约束 最 优化 问题 
minf (x) = 5x"Qx + hx +e, (8.4.1) 


其 中 reR",OeR'… 为 正定 矩阵 ,be R",ceR. 

定理 8.4.1 若 分 别 从 两 个 点 y。,3。e R" 出 发 ,依次 沿 k 个 非 零 的 8 共 斩 方 
向 do,d,,…,d,-, 对 问题 (8.4. 1) 做 最 优 一 维 搜索 得 到 点 y,3, e R", 则 向 量 y, - 
于 与 d(j=0,1,…k-1) 是 Q 共 固 的 . 

证 明 ”因为 y, 和 是 分 别 从 y。 点 和 3 出 发 ,依次 沿 非 零 的 2 共 二 方 向 
d,,d,，,… ,d, .1 做 一 维 搜索 得 到 的 点 ,所 以 由 定理 7.3.3 的 证 明 中 的 (7. 3.8) 式 有 
Vf(y.)d, =0,=0,1,.…,k-1, 

Vf/(3.) "d=0,=0,1,,k-1, 


即 
(Oy +b)"d,=0,7=0,1,.…,k-1, 
(27 +b)"d,=0,=0,1,.,k-1. 
上 面 两 式 相 减 ,得 
(yp -3)"Qd) =0,=0,1,.",k -1. 
这 就 证 明了 yy - 疡 与 d(j=0,1,…,k-1) 是 Q 共 思 的 . 0 
根据 定理 8. 4. 1,Powell 给 出 了 如 下 的 一 个 算法 , 称 之 为 原始 Powell 法 . 它 是 
由 所 谓 基本 搜索 .加速 搜索 和 调整 搜索 方向 三 个 部 分 组 成 . 
算法 8 -4( 原 始 Powell 法 ) 
Step 1 选取 初始 数据 . 选取 初始 点 x。,n 个 线性 无 关 的 初始 搜索 方向 d。， 
d,,…,d,., ,给 定 允 许 误差 e >0, 令 上 =0. 
Step 2 ”进行 基本 搜索 . 令 yo。=x, ,依次 沿 dm ,di ,…d -进行 一 维 搜索 . 对 一 
切 j=1,2,…,n, 记 
fy; 1 +Ajd)1) =minf (yj-, +Ad,.1), 
p= +Ajdj. 
Step 3 ”进行 加 速 搜索 . 取 加 速 方向 d, =y, -Jo, 若 1 d, ‖ < ,迭代 终止 ,得 
y, 为 问题 的 近似 最 优 解 ;否则 ,从 点 y。 出 发 沿 d, 进行 一 维 搜索 , 求 出 A, ,使 得 
f (ys +Asd,) =minf (y, + Ad,). 
记 , =y +Asd,, 转 Step 4. 
Step 4 调整 搜索 方向 . 在 原来 n 个 方向 d ,ad ,…,d.-, 中 ,除去 do 增添 d,， 
构成 新 的 搜索 方向 , 即 令 
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d=d,.1,j=0,1, nl. 
令 上 =k+1, 返 回 Step 2. 
为 了 加 快 收敛 速度 ,原始 Powell 法 在 沿 n 个 线性 无 关 的 方向 作 一 维 搜索 之 
后 ,增加 了 沿 加 速 方 向 的 一 维 搜索 ,并 且 利用 加 速 方向 去 调整 下 一 次 迭代 的 搜索 
方向 . 
定理 8.4.2 设 用 原始 Powell 法 求解 问题 (8.4.1). 若 迭 代 已 进行 了 m( <n) 
次 , 且 每 一 次 迭代 后 为 下 一 次 迭代 确定 的 前 n 个 搜索 方向 都 是 线性 无 关 的 , 则 m 
次 迭代 产生 的 m 个 加 速 方 向 是 一 组 8 共 堪 的 非 零 方向 . 
证 明 设 n 个 线性 无 关 的 初始 搜索 方向 为 do,d,,…,d,_,,m 次 迭代 中 相继 
产生 的 加 速 方向 依次 为 
CC (8.4.2) 
现在 对 m 用 归纳 法 证 明 (8.4.2) 式 是 一 组 8 共 示 的 非 零 方向 . 
当 m=2 时 , 设 第 二 次 迭代 中 从 点 出 发 做 基本 搜索 产生 的 点 依次 为 y， 
上 ，,…,y，， 从 而 得 加 速 方向 为 
d, ,1 =y, ~— yo. 
因为 y。 是 第 一 次 迭代 中 最 后 沿 加 速 方向 d, 做 一 维 搜索 得 到 的 点 ,y, 是 第 二 次 
迭代 中 从 y,-, 出 发 沿 方向 d, 作 一 维 搜索 得 到 的 点 ,所 以 由 定理 8. 4. 1 知 ,4 ,与 
d, 是 8 共 二 的 . 又 由 于 第 二 次 迭代 为 下 一 次 迭代 确定 的 搜索 方向 中,… 
d,,d, ,是 线性 无 关 的 ,因此 d, 与 d,,, 是 两 个 非 零 的 Q 共 思 方向 . 
设 m =r 时 定理 成 立 , 即 
da sds dss 
是 一 组 Q 共 因 的 非 零 方向 . 注意 到 d,,, 的 起 点 和 终点 都 是 依次 沿 上 述 "个 Q 共 
思 方 向 做 一 维 搜索 得 到 的 点 ,于 是 由 定理 8.4.1 知 
本 (8.4.3) 
是 Q 共 瑟 的 方向 组 . 又 因 第 r+1 次 迭代 为 下 一 次 迭代 确定 的 搜索 方向 组 
加 
线性 无 关 , 故 d,,,z0, 即 (8.4.3) 式 是 一 组 非 零 的 8 共 二 方向. 这 表明 m=r+1 
时 定理 成 立 . 0 
从 定理 8. 4.2 可 以 看 出 ,原始 Powell 法 也 是 一 种 共 思 方 向 法 . 由 于 它 仅仅 需 
要 计算 目标 函数 值 而 不 必 求 其 导数 值 , 因 此 ,原始 Powell 法 比 7. 3 节 中 共 轿 方向 
法 (包括 共 配 梯度 法 ) 更 具 实用 性 . 另 一 方面 , 若 将 原始 Powell 法 用 于 求解 问题 
(8.4.1) , 则 当 和 迭代 "次 得 到 点 x,, 且 每 次 迭代 的 前 n 个 搜索 方向 都 线性 无 关 
时 ,由 于 x, 是 依次 沿 n 个 @ 共 固 的 非 零 方向 
dd 
做 一 维 搜索 得 到 的 点 ,因此 根据 定理 7. 3. 3 ,x, 必 是 问题 (8. 4. 1 ) 的 最 优 解 . 这 表 
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明 ,如 果 每 次 迭代 的 前 n 个 搜索 方向 都 线性 无 关 , 则 原始 Powell 法 具有 二 次 终 
止 性 . 

虽然 原始 Powell 法 是 以 求解 问题 (8.4.1) 为 背景 建立 起 来 的 ,但 算法 中 并 
未 涉及 目标 函数 /的 Hesse 矩阵 Q, 所 以 原始 Powell 法 也 可 以 用 来 求解 一 般 无 约 
东 最 优化 问题 (8. 1. 1). 

例 8.4.1 用 原始 Powell 法 求解 问题 (8. 1.3) , 取 初始 点 xs = (0,0) ,初始 
搜索 方向 组 由 = (0,1)7,d = (1,0) 

解 第 一 次 迭代 : 

令 yo=xo =(0,0)", 从 点 y 出 发 沿 do 进行 一 维 搜索 , 易 得 

Ao =0,y, =yo +Aodo = (0,0)". 

接着 从 出 发 沿 d, 进行 一 维 搜索 ,得 


T 


3 3 
1thd (0) 


+ 
再 从 点 :出 发 沿 加 速 方向 d=y -y= (了 ,0】 做 一 维 搜索 ,得 
A2 =0,x, = + Asd, =(2.0). 
第 二 次 迭代 : 
两 个 基本 搜索 方向 为 
do =(1,0)",d, =(2,0) . 


注意 到 这 两 个 搜索 方向 的 第 二 个 分 量 均 为 0, 因 此 沿 这 两 个 方向 进行 一 维 搜索 
得 到 的 点 的 第 二 个 分 量 将 保持 为 0, 这 样 永远 达 不 到 问题 的 最 优 解 = (2,1) ， 
其 原因 是 d。,d, 线性 相关 . 这 说 明 运用 原始 Powell 法 求解 本 例 失 败 . 0 

由 此 可 见 , 在 原始 Powell 法 中 ,保持 每 次 迭代 中 前 ”个 搜索 方向 线性 无 关 是 
十 分 重要 的 . 而 且 ,Powell 本 人 已 经 注意 到 ,原始 Powell 法 即使 不 像 例 8.4. 1 那 
样 极端 的 情况 ,但 也 可 能 产生 近乎 线性 相关 的 搜索 方向 ,特别 是 变量 很 多 时 更 是 
如 此 . 


8.4.2 Powell 法 


为 了 避免 出 现 搜索 方向 组 线性 相关 的 现象 ,Powell 及 其 他 人 对 原始 Powell 
法 进行 了 修正 . 他 们 首先 研究 了 搜索 方向 组 d。,d,,… ,d,-, 的 8 共 元 性 度量 
定理 8.4.3 设 QeR"… 为 正定 甜 阵 . 若 向 量 组 do,d,，,…,d,-, 满 足 
diQd, =1,=0,1,…,n -1, (8.4.4) 
则 d ,di ,…,d ,是 一 组 Q 共 鸭 向 量 的 充 要 条 件 为 | detD | 取得 最 大 值 , 其 中 
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和 矩阵 D=(d,,d,,…,d,_,). 
证 明 必要 性 . 设 方向 po,p,,…,p,_, 满 足 : 对 于 一 切 i,j=0,1…,n-1, 有 
TO 
Pop, -人 
记忆 = (po,Pi,…,P。:) ,我 们 只 需 证 明 :对 于 任何 满足 (8.4.4) 式 的 向 量 组 d,， 
机 md 有 


(8.4.5) 


|detp | < | detP |. (8.4.6) 
根据 定理 7. 3. 1,@ 共 轿 的 非 零 向 量 组 pe ,P, ,…,P,-, 是 线 线 无 关 的 ,因此 它 
们 是 R" 的 一 组 基 , 于 是 ,我 们 可 将 每 个 必用 po,p,,…,p,, 的 线性 组 合 表示 为 


d= > upr 记 


全 


Uoo Uo Uo.a-1 
让 oo mn . Mea! a 
Wo Ws- 人 Usa 
则 dj=Puj(j=0,1,…,n -1), 即 知 D=PU, 从 而 有 
ldetp| = |detP| . |detv |. (8.4.7) 


由 (8.4.5) 式 知 POP =1, 故 对 一 切 j=0,1,…,n -1, 有 
diQd, = (Pu,)"Q( Pu,) =u’P'QPu, =u'u,, 
于 是 ,由 (8.4.4) 式 有 
wu =1,j=0,1,.,n-1, (8.4.8) 
因为 V"U 是 半 正 定 矩 阵 , 所 以 由 Hadamard 不 等 式 得 


0<det( LU) < 了 uu,. 


故 由 (8.4.8) 式 知 , | detU | <1, 代 入 (8.4. 7) 式 得 (8. 4.6) 式 . 
充分 性 . 设 (8.4.4) 式 成 立 , 而 且 | detD | 取得 最 大 值 ,用 反 证 法 证 明 四， 
dd 是 @ 共 和 的 . 若 不 然 ,不 妨 设 d。,d, 不 是 2 共 思 的 , 则 d1Qd, = c 关 0. 
因为 2 是 正定 矩阵 ,所 以 存在 满 秩 矩 阵 工 ,使 Q=L'L, 从 而 由 Cauchy 不 等 式 和 
(8.4.4) 式 得 
lecl = | (Ld) "(Ld,) | 
<1 La :lial 
=((Ldu)7CLdo)) 2((Ld)7CLA)) 
=(dod) (di0d) =1, 
并 且 |c| =1 的 充 要 条 件 是 d, 与 线性 相关 , 即 detD =0, 此 时 , | detD | 没有 取 
得 最 大 值 . 下 设 0< |c| <1. 定义 
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do — cd, 

Ke 
D=(d,,d, ,ad,.1), 

容易 验证 d。,d,,d,,… ,d,, ,满足 (8.4.4) 式 ,并 且 


= 


| detD | = dD | > | detD | ， 


即 知 | detD | 未 取得 最 大 值 ,与 条 件 矛盾 . 0 
根据 定理 8. 4. 3 , 若 方 向 组 do,d,,…,d, ,满足 (8.4.4) , 则 可 用 | detD | 作为 
方向 组 do,d,,…,d,_, 关 于 @ 的 共 斩 性 度量 : | detD | 越 大 ,方向 组 的 8 共 二 性 
就 越 好 . 
利用 上 述 8 共 二 性 度量 修改 原始 Powell 法 的 原则 是 使 每 一 次 迭代 中 个 
搜索 方向 的 8 共 示 性 度量 不 减少 . 此 时 ,需要 解决 下 面 两 个 问题 : 
(1) 每 次 迭代 中 搜索 方向 do,d,,…,d,_! 的 Q 苍 性 度量 如 何 给 出 ? 
(2) 在 确定 下 一 次 迭代 的 王 个 搜索 方向 时 ,以 加 速 方向 d, 替代 d。,d,,…， 
水 ,中 哪 一 个 才能 使 @ 共 罗 性 度量 最 大 ? 
下 面 我 们 针对 问题 (8. 4. 1) 来 回答 上 述 两 个 问题 . 
对 于 第 一 个 问题 , 设 本 次 迭代 中 个 搜索 方向 为 dm ,di ,…,d, ,让 每 一 个 
方向 在 Q 度量 意义 下 单位 化 ， > 
人 ,j=0,1 ,nl. 
记 DD =(d,,d,,…,d,.1) , 则 | detD | 就 是 本 次 迭代 中 前 ”个 搜索 方向 的 8 共 示 
性 度量 . 
对 于 第 二 个 问题 , 设 本 次 迭代 中 从 y% 点 出 发 ,依次 沿 方向 ,di ,…,d,-: 做 
一 维 搜索 得 到 点 败 ,?，…,y。 则 
多 = +Asid = 多 -+Aw-ad,-z+As-ids- 
=…=yo+Aodo+Ad +…+Aid 
即 加 速 方向 d, =y, -yo 可 表示 为 
d, =Aodo+Aidi+…+A di， (8.4.9) 
其 中 d。,d,,…,d,-, 满 足 
diQd,=1,=0,1, ,nl. (8.4.10) 
再 把 d, 在 Q 度量 意义 下 单位 化 , 即 令 
= VEOd. = VO. -yo) Q(y, -yo), 
d,:=d./B, (8.4.11) 
并 记 w = 和 /Bj=0,1,…,n 一 1, 则 由 (8.4.9) 式 有 
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d, =aodo + oad +…+as id (8.4.12) 
若 以 加 速 方向 d, 替换 某 个 4d,(0<m<n-1), 记 


DB=(d ,dss d,s dss,d,1), (8.4.13) 
则 下 一 次 迭代 的 n 个 搜索 方向 
人 


的 @ 共 生 性 度量 为 | de 请 | . 把 (8.4. 12) 式 代入 (8.4. 13) 式 ,由 行列 式 运算 性 质 


可 以 得 到 : | de 六 | = | a | ， | detD | . 由 此 可 知 ,要 使 | de 六 | 尽 可 能 大 ,m 的 
选取 应 使 


la. | =, max, beh (8.4.14) 
要 使 下 一 次 迭代 中 个 搜索 方向 的 Q 共 亏 性 度量 增 大 , 必 有 
la.| >1. (8.4.15) 


因为 对 一 切 j=1,2,…,n, 有 
-1 = Ad =Ba-d 
所 以 ,利用 正定 二 次 函数 的 Taylor 展开 得 


[320) =f (9) + Vf) Ty -+ 二 Oo)7QCO -») 


=/(9) -pay Vf) Td ,+ (Boy) dQd, 
注意 到 最 优 一 维 搜索 导致 Vf(y,)"d., =0, 从 而 由 (8.4.10) 式 有 


(Bos.1)” =2[f(9.1) -1(9)] ,j=1,2,.,n. (8.4.16) 
因此 ,以 d, 替代 d, 的 条 件 (8.4. 14) 等 价 于 
f(s) =f yan) = mex ,1f(9,) -/(y.1)1 (8.4.17) 


上 式 表明 ,被 d, 替换 的 d。 应 是 个 方向 do,d,,…,d,., 中 使 目标 函数 值 下 降 最 
多 的 那个 方向 . 
利用 (8.4.16) 式 可 知 ,以 d, 替换 d, 的 另 一 个 条 件 (8.4.15) 等 价 于 


PB’ <2[/ (ya) -f(ya11)], 
而 由 正定 二 次 函数 /的 Taylor 展开 有 
PB =(y,-y)"Q(y, -yo) 


=[V/GO.) "(yo -3.) + 六 Co -3.)"Q(yo 7.)] + 


[VOT -mp + 二 Oo -70) "0(y. -oo)] 


=[f(y0) -f(y.)] +LF(27。 -yo) -f(y.)] 
=f (90) -2f (9.) +f(2y, -yo)， 
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于 是 ,条 件 (8.4. 15 ) 又 等 价 于 
f(y0) -2f (8.) +F(27。-yo) <2L7(7。) -CD)]- (8.4.18) 
由 上 面 的 分 析 可 知 ,加 速 方向 d。 是 否 要 替换 原来 的 n 个 搜索 方向 之 一 ,以 
及 替换 哪 一 个 方向 ,可 由 (8.4.17) 和 (8.4.18) 两 式 决定 . 对 原始 Powell 法 做 这 
样 的 修改 得 到 的 方法 就 称 为 Powell 法 . 
算法 8 -5(Powell 法 ) 
Step 1 选取 初始 数据 . 选取 初始 点 xo,n 个 线性 无 关 的 初始 搜索 方向 d。， 
d，，,…,d,., ,给 定 允 许 误差 >0, 令 k=0. 
Step 2 ”进行 基本 搜索 . 令 nm =x ,依次 沿 d。,d,,… ,d,-1 进 行 一 维 搜索 . 对 
一 切 j=1,2,…,n, 记 
fy thd ) = minf (yj-1 + Ad)-, ks 
= + Ajdj 
Step 3 ”检查 是 否 满足 终止 准则 . 取 加 速 方 向 d, =y, -yo, 若 上 d, | <e, 迭 
代 终 止 ,得 y, 为 问题 的 近似 最 优 解 ;否则 , 转 Step 4. 
Step 4 “确定 搜索 方向 . 按 (8.4.17) 式 确定 m, 若 (8.4.18) 式 成 立 , 转 Step 
5; 耕 则 , 转 Step 6. 
Step 5 调整 搜索 方向 . 从 点 y, 出 发 沿 方向 d, 进行 一 维 搜索 , 求 出 入, ,使 得 
fy +Asd,) =minf (y, + Ad,) 
令 wi =y,+A,d,, 再 令 
di:=dun j=mm+l, ,nl. 
k:=k+1, 返 回 Step 2. 
Step 6 不 调整 搜索 方向 . 令 ri, =y,,k:=k+1, 返 回 Step 2. 
需要 说 明 以 下 三 点 : 
(1) 在 Powell 法 的 计算 步骤 中 ,搜索 方向 组 do ,d ,…,d, ,及 加 速 方向 d, 都 
没有 在 @ 度量 意义 下 单位 化 ,但 这 并 不 影响 计算 ,因为 这 些 单位 化 因子 
VE Od =0,1, 
可 以 包含 在 一 维 搜索 的 步 长 中 . 
(2) 与 原始 Powell 法 一 样 ,Powell 法 也 可 以 用 来 求解 一 般 无 约束 最 优化 问 
题 (8.1.1). 
(3) 由 于 初始 搜索 方向 do ,d, ,…,d。, 是 线性 无 关 的 , 且 和 迭代 中 搜索 方向 组 
的 @ 共 罗 性 度量 不 会 减少 ,因此 在 Powell 法 中 每 一 次 迭代 的 前 n 个 搜索 方向 都 
是 线性 无 关 的 . 但 是 ,Powell 法 不 再 具有 二 次 终止 性 . 
例 8.4.2 用 Powell 法 求解 问题 (8. 1.3) , 仍 取 初 始点 x。= (0,0)" ,初始 搜 
索 方向 组 
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d=(0,1)7,d =(1,0)7. 
给 定 允 许 误差 = =0. 1. 
解 第 一 次 迭代 : 
同 例 8. 4. 1 一 样 ,得 
(0,0)",y, = 这 ,0) 
qd, = 多 -m=z,0) . 
因为 | d, =3/2 >s, 所 以 要 确定 调整 方向 . 由 于 
f(y0) =0,f(y,) =0,f(y,) = -全 ， 


按 (8.4.17) 式 有 
7 ) -f(y2) =maxlf (9,) -7(O) 17=0,11， 
因此 m=1, 并 且 


7O.) -70 =f(91) -1702) = 
又 因 /(2y, -yo) =0, 故 (8. 4. 18) 式 不 成 立 . 于 是 ,不 调整 搜索 方向 组 ,并 令 x 


第 二 次 迭代 : 


接着 从 点 y, 出 发 沿 d, 作 一 维 搜索 ,得 
Ai = 言 几 = +Ad, = 人 (号 ,于 : 
由 此 有 加 速 方向 


ds =y, -yo = 人 ( 言 引 


和 


因为 d, =3 V5/8 > e, 所 以 要 确定 调整 方向 . 因 
__9 __45 _ 
f(y0) = -VOD) = 162) = 
故 按 (8.4.17) 式 易 知 m=0, 并 且 


1) -70 =f(96) -70 = 站 
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由 于 
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45 
7(27: -70) = 16’ 
因此 (8. 4. 18) 式 成 立 . 于 是 ,从 点 六 出 发 沿 d 做 一 维 搜索 ,得 


1 
A = 本 心 tAd = (2,1)". 


同时 ,以 d, 替换 d。, 即 下 一 次 迭代 的 搜索 方向 组 取 为 


do =(1,0)",d, -2). 
第 三 次 迭代 : 
取 ) =x: =(2,1) 7 ,类似 地 可 求 得 
7i =(2,1)7 ,7 =(2,1) ， 
d =y, -yo = (0,0)". 
因为 1 d, | =0 <e, 所 以 迭代 终止 ,得 问题 (8. 1.3) 的 最 优 解 为 xz; =? = (2,1)". 口 
顺便 指出 ,Powell 法 的 进一步 改善 后 来 为 许多 人 研究 ,例如 ,有 人 提出 把 条 
件 (8.4.18) 式 修改 为 


f (2y, -yo) <f (yo), 
或 


Cf (90) -2 C9) + 29, =y0) 1 Lf yo) =f (9,) -fn) + 
< 二 MO -1 025. 30) CO) -10 


而 且 ,Powell 法 是 公认 的 最 有 效 的 算法 ,至 少 在 目前 是 这 样 的 . 在 一 定 条 件 下 ， 
Powell 法 是 收敛 的 (参见 文献 [48]). 


8.5 单纯 形 调 优 法 


对 于 无 约束 最 优化 问题 (8. 1. 1) ,Spendly, Hexit 和 Himsworth( 1962 ) 提出 一 
种 利用 不 断 调整 x" 中 正则 单纯 形 的 顶点 来 避 近 最 优 解 的 所 亩 正则 单纯 形 调 优 
法 (regular simplex evolutionary technique). 后 来 ,Nelder 和 Mead(1965 ) 对 上 述 方 
法 做 了 改进 ,使 之 成 为 一 个 相当 实用 的 直接 法 , 称 之 为 单纯 形 调 优 法 (simplex 


evolutionary technique). 
8.5.1 正则 单纯 形 调 优 法 
给 定 一 个 初始 点 xo。 = (zf ,xz xz) 及 数 1>0, 记 


A 2 总 (8.5.1) 


如 二 
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取 点 到 = (zx ax) (=1,2,…,m) 如 下 : 
i ES +6 ,jk, 


本 (8.5.2) 
zl0 +a,j=k. 
不 难 验证 ,(8.5.1) 和 (8. 5.2) 两 式 确定 的 多 面体 H(ixo,x,,…,x,| ) 是 一 个 具 
有 n+1 个 顶点 且 棱 长 为 :的 正则 单纯 形 . 

比较 上 述 正 则 单纯 形 H( |x。 ,x,,… ,x,| ) 中 各 顶点 处 的 目标 函数 值 ,通过 对 
顶点 重新 编号 ,可 使 得 

f(xo) <f (x) < sf (x) <f(x,), 

并 称 ze 为 H( |x ,x ,… ,x,| ) 中 的 最 好 顶点 ,x, 为 最 坏 顶 点 ,x,., 为 次 坏 顶 点 . 

正则 单纯 形 调 优 法 的 基本 思想 是 不 断 用 好 的 点 去 替换 最 坏 项 点 . 实现 这 种 
思想 主要 是 采用 下 面 两 种 基本 技巧 . 

(1) 反映 

首先 , 求 H( [xo,x,,… ,x,1 ) 中 去 掉 最 坏 顶 点 x, 以 后 得 到 的 R" 中 具有 n 个 
顶点 的 单纯 形 H( | xo,x,,… ,x。 ,| ) 的 重心 


; 


1 
t= > 2 
再 求 最 坏 顶 点 x, 关于 重心 x, ,的 反映 点 
asa Kao t (Ks Fs) =2F, ,1 — Xa. (8.5.3) 

图 8.5.1 画 出 了 n=2 的 情形 . 

如 果 /(x,,;) <f(x,-,), 即 反映 点 比 次 坏 顶 点 好 , 则 用 xx, ,替换 x, ,构成 新 
的 正则 单纯 形 H( xo ,x ，… ,x ,x,.2| ) , 称 之 为 反映 单纯 形 . 此 时 x,,, 不 会 成 
为 反映 单纯 形 的 最 坏 顶 点 . 图 8. 5.2, 右 上 方 带 阴影 的 三 角形 即 为 n=2 时 的 反 
映 单纯 形 . 


x Xs x x 


] 


入 xo x 


图 8.5.1 反映 图 8.5.2 紧缩 


(2) 紧缩 
如 果 f/(x,,;) 宇 f(x,-,), 考 虚 到 最 好 顶点 re 可 能 接近 最 优 解 , 则 将 正则 单 
纯 形 同 顶 点 ro 处 紧缩 ,这 时 新 的 正则 单纯 形 ( 称 为 紧缩 单纯 形 ) 的 顶点 取 为 
:= + 0 (8.5.4) 
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图 8. 5. 2 左下 方 阴影 的 小 三 角形 即 为 ”=2 时 的 紧缩 单纯 形 . 

由 上 述 的 反映 和 紧缩 技巧 可 以 发 现 ,正则 单纯 形 调 优 法 中 出 现 的 单纯 形 都 
是 正则 的 . 

正则 单纯 形 调 优 法 给 人 的 最 大 启示 是 :不 必 局 限于 用 点 列 去 通 近 问题 的 最 
优 解 , 可 以 用 一 系列 正则 单纯 形 去 接近 最 优 解 . 由 于 它 的 每 次 迭代 都 使 用 了 多 个 
点 的 目标 函数 值 信息 ,因此 有 利于 单纯 形 向 最 优 解 方向 的 逼近 ,迭代 效果 是 稳定 
的 . 但 是 这 个 方法 仅仅 运用 了 较 机 械 的 反映 和 紧缩 两 种 技巧 ,有 时 会 因 紧缩 次 数 
过 多 而 影响 它 向 更 广泛 范围 内 搜索 最 优 解 ,以 致 单纯 形 过 早 在 非 最 优 解 处 紧缩 
为 一 个 点 ,从 而 导致 搜索 失败 . 


8.5.2 单纯 形 调 优 法 


为 了 防止 正则 单纯 形 调 优 法 的 搜索 失败 ,并 加 快 收敛 速度 , Nelder 和 Mead 
对 正则 单纯 形 调 优 法 作 了 一 些 改进 :使 得 迭代 中 出 现 的 单纯 形 不 一 定 是 正则 的 ， 
并 且 单 纯 形 在 迭代 过 程 中 既 能 变 小 也 能 变 大 . 具体 说 来 ,单纯 形 调 优 法 把 正则 单 
纯 形 调 优 法 中 的 反映 和 紧缩 两 种 技巧 作 了 推广 , 且 增 加 了 扩展 和 收缩 两 种 技巧 . 
(1) 反映 
把 (8.5.3) 式 推广 为 
Tara Ea tox x,), 
其 中 a>1 称 为 反映 系数 . 
(2) 紧缩 
把 (8.5.4) 式 推广 为 
X=xo +O(X; -Xo0) ,j=0,1,.,n, 
其 中 ge (0,1) 称 为 紧缩 系数 . 
(3) 扩展 
当 /(x,,2) </(x。), 即 反映 点 比 最 好 顶点 还 好 时 ,方向 x,, -x,,, 是 使 目标 
函数 值 下 降 的 有 利 方向 , 故 可 在 x.,, 和 xx,,, 连 线 的 延长 线 上 , 求 一 个 扩展 点 
Kars Fao + YN Fa) 
其 中 y>1 称 为 扩展 系数 . 如 果 f(x,,,) </(x。) , 即 扩展 点 比 最 好 顶点 要 好 时 ,就 
以 x, ,替换 x, ,构成 新 的 单纯 形 H(|xo,x，… ,x,-1,x.,31), 称 之 为 扩展 单 
纯 形 . 
(4) 收缩 
当 f(x,,2) (x,-1) 时 ,为 方便 起 见 , 将 x,,, 和 x, 之 间 目 标 函数 值 较 小 的 点 
记 为 x+,, 另 一 个 记 为 x,,, 并 在 点 x, 与 x, ,1 的 连 线 上 靠近 点 x, 处 求 一 个 收缩 点 
Kars = +B(T, 一 zs)， 
其 中 Be (0,1) 称 为 收缩 系数 . 如 果 f(x,,。) </(x,) , 即 收缩 点 比 最 坏 项 点 好 , 则 
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以 *,,* 蔡 换 x, ,构成 新 的 单纯 形 有 H(ixo,x)，… ,x ,x,,s| ), 称 之 为 收缩 单 
纯 形 . 

算法 8 -6( 单 纯 形 调 优 法 ) 

Step 1 选取 初始 数据 . 选取 以 x。,x,,… ,x, 为 顶点 的 初始 单纯 形 H( |x。， 
zi，…vzo| ) ,给 定 反映 系数 “=>1, 紧 缩 系数 0 <9<1, 扩 展 系 数 y > 1 ,收缩 系数 
0 <B <1, 人 允许 误差 es >0. 

Step 2 顶点 重新 编号 . 将 单纯 形 的 n+1 个 顶点 按 目 标 函 数值 大 小 重新 编 
号 ,使 其 满足 

f(xo) Sf/ (x) < Sf (x) sfx,). 
Step 3 ”检查 是 否 满足 终止 准则 . 求 单纯 形 H( | xo ,x,，,… ,x,,1 ) 的 重心 


x pa x 
着 人 总 U5) -f(x.) <。 , 迁 代 终止, 为 问题 (8.1.17 的 近似 最 
优 解 ;否则 , 转 Step 4. 
Step 4 求 反映 点 . 计算 反映 点 
za 
车 /(x。,2) </(x) , 转 Step 5; 否 则 , 当 /(x,,2) <7(z。，) 时 转 Step 6, 当 (zs) 
>/(x，，) 时 转 Step 7. 
Step 5 扩展 . 计算 扩展 点 
To En + YX Ka). 
车 / (x43) </(xo), 令 xx:=xsa, 构 造 扩展 单纯 形 , 转 Step 2; 否 则 , 转 Step 6. 
Step 6 反映. 令 x,:=x,,, 构 造反 映 单纯 形 ,返回 Step 2. 
Step 7 收缩 .把 x。 和 x,,: 之 间 对 应 目标 函数 值 较 小 的 点 记 作 ,计算 收缩 
点 


Kas = +B(E, ~ x, ). 
车 /(x, ,4) </(x,) , 令 x,:=x,,4, 构 造 收 缩 单纯 形 ,返回 Step 2; 否 则 , 转 Step 8. 
Step 8 ”紧缩 . 今 
XXo +O0(X; -x0) ,j=0,1,.,n, 
构造 紧缩 单纯 形 ,返回 Step 2. 
例 8.5.1 用 单纯 形 调 优 法 求解 问题 (8.1.3), 取 初始 单纯 形 
H(|xo=(0,0)" ,x =( -2,0)",x, =(0,2)"|) 
给 定 a=1,9=0.5,y=2,8=0.5,e=0.35. 
解 第 一 次 迭代 : 
因为 
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f(xo) =0,f(x1) =10,f(x,) =4， 

把 初始 单纯 形 的 顶点 重新 编号 ,得 

xo=(0,0)" ,f(x,) =0, 

x1=(0,2)",f (x) =4, 

x =( -2,0)" ,f(x,) =10. 
求 HE(xo,x,)| 的 重心 

= 二 (x +x,) = (0,1)". 
由 于 f(x,) =1， 


2 + 
信 台 UG) -f(x)1} =5.507 571 > e， 
因此 ,再 求 反映 点 
X= + (Ky -za)=(2,2)7. 
因为 /(x,) = -2</(xo) ,所 以 求 扩展 点 
Xs =x +2(x — x) =(4,3)". 
又 (x;) =1>J(ro) , 故 令 za:=xs, 构 造反 映 单纯 形 
H(ixo =(0,0)T,xl =(0,2)",x, =(2,2)71). 
第 二 次 迭代 : 
因为 
f(xo) =0,f(x) =4,f(x) = -2， 
所 以 把 单纯 形 的 顶点 重新 编号 ,得 
xo=(2,2) ,f(x0) = -2， 
zi =(0,0) ,f(x,) =0， 
x =(0,2) f(x) =4. 
求 H(1xo,x1|) 的 重心 
二 = 让 (x + ) = 


由 于 /f(x,) = -2， 


他 六 en -fo = 3.651 484 > e， 
因此 再 求 反映 点 
xs =x + (x x) =(2,0)". 
因为 1(x4) = -2 宇 /(xo) ,f(xs) </(x,) ,所 以 令 za:=x ,构造 反映 单纯 形 
有 (ix = (2,2) ,x, =(0,0)7xza =(2.0)71). 
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第 三 次 迭代 : 
因为 
f(x0) = -2,f(x) =0,f(x,) = -2， 
所 以 把 单纯 形 的 顶点 重新 编号 为 
xz=(2,2) ,f(x0) = -2， 
=(2,0)" (rn) = -2， 
x =(0,0)" f(x,) =0. 
求 H( 1xo,x1| ) 的 重心 
二 =x + ) = (2,1)7. 


由 于 jz) = -3， 


全 六 [f(x,) -f(x) 7} = 1.914 854 > e， 
因此 再 求 反映 点 
Xs =X +(2 -x2) =(4,2)". 
因为 (x。) =0f(xo) yzrs)=FCz) ,所 以 把 x 和 za 中 对 应 目标 函数 值 较 小 
的 点 记 作 x, , 求 收缩 点 
xs =x3 +0.5(x, -x3) =(1,0.5)7. 
因 f(x。) = -2.25 </(x,), 故 令 x,:=x。 ,构造 收缩 单纯 形 
H(ixo=(2,2)",x, =(2,0)" ,x =(1,0.5)"}) 
第 四 次 迭代 : 
因为 
f(x0) = -2f(x)= -2f(x) = -2.25， 
所 以 把 单纯 形 的 顶点 重新 编号 为 
xo=(1,0.5)" ,f(x0) = -2.25， 
xi =(2,2) ,f(x,) = -2， 
x =(2,0)" ,f(x,) = -2. 


求 H( x6,x1| ) 的 重心 
二 = 二 (zo +x) =(1.5,1.25)". 
由 于 f(x) = -2.562 5， 
人 并 Un) -re = 0.493 447 > e， 


因此 ,再 求 反映 点 
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Xo=x3 + (x -x2) =(1,2.5) 
因为 (xs) =1.75>/(xo) (zs)>=Fzr), 所 以 把 x 和 x, 中 对 应 目标 函数 值 较 
小 的 点 记 作 zx: , 求 收缩 点 
xe =x3 +0.5(x, -x) =(1.25,1.875)". 
因 /(x。) = -1.056 25>>/(x,) , 故 令 
Xo:=x0 +0.5(xo -xzo) =(1,0.5)", 
+0.5(ri -xzo) =(1.5,1.25)", 
xo +0.5(x, -ro) =(1.5,0.25)7. 


构造 紧缩 单纯 形 
有 (|zo=(1,0.5)7,xr =(1.5,1.25)7,z =(1.5,0.25)"|). 
第 五 次 迭代 : 
因为 
f(x0) = -2.25,f(x) = -2.562 5,f(x) = -2.562 5, 
所 以 ,单纯 形 的 顶点 重新 编号 为 
xo=(1.5,1.25)" ,f(xo) = -2.562 5， 
x1=(1.5,0.25)",/(x,) = -2.562 5, 
x =(1,0.5)" ,f(x,) = -2.25. 
求 H( 1xo,x,| ) 的 重心 


加 = 去 (m +x1) =(1.5,0.75)7. 


由 于 f(x,) = -2.812 5， 


: + 
{U8) -f(x)1} = 0.383 582 > 0, 
名 
因此 , 求 反映 点 


x =x + (x x) =(2,1)7. 
因为 /(x,) = -3 </(x。o) ,所 以 求 扩展 点 
xs =x +2(x4 x) =(2.5,1.25)". 
因 /(x;) = -2.825 </(xo) , 故 令 x,:=x; ,构造 扩展 单纯 形 
H( |xo=(1.5,1.25)",x, =(1.5,0.25)",x, =(2.5,1.25) 1 ). 
第 六 次 迭代 : 
因为 
f(xo) = -2.5625f(xri) = -2.562 5,f(x,) = -2.812 5， 
所 以 单纯 形 的 顶点 重新 编号 为 
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xo=(2.5,1.25)7sf(zo) = -2.812 5， 
zi =(1.5,1.25)7,f(r,) = -2.562 5, 
za=(1.5,0.25)7,f(r) = -2.562 5. 
求 H( {xo,x,| ) 的 重心 
(tr) =(2,1.25)". 
由 于 f(x,) = -2.937 5， 


{45 [rz) -fe) 1} = 0.314 576 < e， 


因此 迭代 终止 ,得 问题 (8.1.3) 的 近似 最 优 解 rs = (2.5,1.25)". 0 

在 适当 条 件 下 ,正则 单纯 形 调 优 法 是 收敛 的 (参见 文献 [16,49]). 单纯 形 调 
优 法 虽然 求解 速度 比 正则 单纯 形 调 优 法 要 快 而 且 有 效 , 但 至 今 仍 处 于 经 验方 法 
阶段 . 单纯 形 调 优 法 对 于 变量 不 多 且 精 度 要 求 不 高 的 问题 的 求解 是 很 有 用 的 ,但 
是 当 变量 个 数 较 多 时 ,这 个 方法 的 效果 一 般 是 不 好 的 . 


习 题 八 


1. 用 坐标 轮换 法 求解 问题 : 
(1) min 34? + 53x, 
取 初 始点 x。= (2,1) ,允许 误差 e=0.1; 
(2) min x? +x2 -4x -2xixa， 
取 初 始点 x。= (1,1) ,允许 误差 。 =0.1. 
2. 用 模式 搜索 法 求解 第 1 题 ,其 中 均 取 初始 步 长 6=1, 收 缩 因 子 a =0. 5. 
3. 用 旋转 方向 法 求解 下 列 问题 , 均 取 初始 搜索 方向 组 为 两 个 坐标 轴 方 向 e, 和 e, ,初始 步 
长 86。= (1,1)" ,收缩 因 子 a=0.5, 放 大 因子 B=3, 要 求 迭代 两 次 . 
(1) min(x -3)? +2(x, +2)2， 
取 初 始点 x。 = (0,0)"; 
(2) min 3x? + 23 2x,x +4x +3x,, 
取 初 始点 ro = (4,5) 7 
4. 设 对 一 切 j=1,2,…,n, 有 
p= 六 Aid, ,A #0,d, ER 
若 d, ,d,,… ,d, 线性 无 关 , 试 证 Pi ,p，,… ,p。 线性 无 关 . 
5. 用 原始 Powell 法 求解 问题 
Fi 2 
min 了 
取 初 始点 x。=( -2,4) ,初始 搜索 方向 组 为 两 个 坐标 轴 方 向 e, 和 @,. 
6. 用 Powell 法 求解 问题 
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min 2x? + 好 — Xx3 — 4x2, 

取 初 始点 x。= (1,1)" ,初始 搜索 方向 组 为 两 个 坐标 轴 方 向 e 和 e, ,允许 误差 == 10 一. 

7. 设 4=(oy)sR" ”为 半 正 定 矩阵 ,证明 Hadamard 不 等 式 

det 4 三 alazm …a， 

并 且 上 式 中 等 号 成 立 的 充 要 条 件 是 4 为 对 角 短 阵 

8. 证 明 : 由 (8.5.1) 和 (8.5.2) 两 式 确定 的 多 面体 月 (| xo,x,，,…,x,| ) 是 一 个 具有 n+1 
个 顶点 且 校 长 为 上 的 正则 单纯 形 - 

9 用 单纯 形 调 优 法 求解 问题 

min 4(x -5) + (x, -6)7， 


取 初 始 单纯 形 为 
Hixo=(8,9)7,xz =(10,11)" ,x, =(8,11)"|). 
给 定 反映 系数 a =1 ,紧缩 系数 96=0.5 ,扩展 系数 y=2, 收 缩 系数 B=0.5, 人 允许 误差 s =6. 
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第 九 章 ”可 行 方向 法 


从 本 章 开始 ,我 们 着 手 讨 论 求解 约束 非 线性 规划 问题 的 方法 , 即 约束 最 优化 
方法 . 可 行 方 向 法 (feasible directions methods) 是 其 中 的 一 类 算法 . 此 类 方法 可 看 
做 无 约束 下 降 算法 的 自然 推广 ,其 基本 思想 是 从 可 行 点 出 发 , 沿 可 行 下 降 方 向 进 
行 搜索 , 求 出 使 目标 函数 值 下 降 的 新 的 可 行 点 . 算法 包括 选择 搜索 方向 和 确定 搜 
索 步 长 两 个 主要 方面 . 搜索 方向 的 选择 方式 不 同 就 形成 不 同 的 可 行 方 向 法 . 


9.1 Zoutendijk 可 行 方 向 法 


Zoutendijk 可 行 方向 法 包括 利用 起 作用 约束 构造 可 行 方向 和 s 起 作用 约束 
构造 可 行 方向 . 


9.1.1 线性 约束 情形 


考虑 线性 约束 问题 
min f(x); 
" Ar>=b, (9.1.1) 
Ex =e， 


其 中 /(x) 为 可 微 函数 ,4 为 mm xn 矩阵 ,已 为 1xn 矩阵 ,zeR' beR" eeR- 
(1) 利用 起 作用 约束 构造 可 行 下 降 方向 
定理 9.1.1 设 x 是 问题 (9.1.1) 的 可 行 解 ,在 点 x 处 有 A,x=b,,Asx >b,， 


其 中 
A, b, 
pd nl A 
则 非 零 向 量 d 为 x 处 的 可 行 方向 的 充 要 条 件 是 
A,d=0,Ed =0. (9.1.2) 
证 明 ” 先 证 必要 性 . 设 非 零 向 量 4 为 x 处 的 可 行 方向 , 则 存在 数 5 > 0 ,使 得 
对 每 个 As (0,6) ,有 x+Ad 为 可 行 点 , 即 
A(x+Ad)>=b, (9.1.3) 
E(x+Ad) =e. 
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因为 
的 [2 | [” +A4d ]=[,] ， 
A,x +AA,d. Asx + AA,d. b, 
所 以 4,d=0. 并 由 (9. 1.3) 式 得 到 Ed =0. 必要 性 得 证 . 
再 证 充分 性 . 设 有 非 零 向 量 4 满足 (9. 1.2) 式 ,由 A,x >b, 可 知 ,存在 充分 小 
的 5>0, 使 得 对 于 As(0,5) ,有 


A,(x +Ad) >b,. (9.1.4) 
根据 (9. 1.2) 中 第 1 式 及 4,x =b, 得 知 
Ai(x+Ad)>=b,. 《13 
合并 (9. 1.4) 和 (9.1.5) 两 式 得 到 
A(x+Ad)=b. (9.1.6) 
再 由 (9.1.2) 中 第 2 式 及 Ex =e 可 知 
E(x +Ad) =e. (9.1.7) 
这 样 ,(9.1.6) 和 (9.1.7) 两 式 表明 x+Ad 是 可 行 点 ,因此 d 是 x 处 的 可 行 方向 . 
0 


根据 定理 1.2.3 和 定理 9. 1. 1, 如 果 非 零 向 量 d 同时 满足 
Vf(x)'d <0,A,d>0,Ed =0, 
则 ad 是 x 处 的 可 行 下 降 方向 . 
因此 ,确定 搜索 方向 可 归结 为 求解 线性 规划 问题 


min Vf/(x)'d; 
s.t. Ad=0, 
(9.1.8) 
Ed =0, 


-1<d<1,j=1,2,,n, 
其 中 为 了 能 获得 有 限 最 优 解 , 限 制 了 方向 d 的 长 度 , 即 增 加 规范 约束 条 件 -1< 
d,<1,=1,2,.,n. 
因 d =0 是 问题 (9. 1.8) 的 可 行 解 , 故 目标 函数 的 最 优 值 必定 小 于 或 等 于 0. 
车 1(x)"d <0, 则 4d 为 可 行 下 降 方向 ; 
车 Vf/(x)"d =0, 则 下 面 的 定理 将 证 明 x 是 K -T 点 . 
定理 9.1.2 设 x 是 问题 (9.1.1) 的 可 行 解 ,在 点 x 处 有 A,x=b,,A,x>b,， 


其 中 
4A, b, 
4=[4]*-[,]: 
则 x 为 K-T 点 的 充 要 条 件 是 问题 (9. 1.8) 的 目标 函数 最 优 值 为 0. 


证 明 按 K-T 点 的 含义 ,我 们 知道 ,x 是 问题 (9.1.1) 的 K-T 点 , 即 存在 
2 


向 量 w 和 v,u>0, 使 得 
V/(x) -Aiu-E'v=0. (9.1.9) 
令 v=p -gq,p,4>0, 把 (9.1.9) 式 写成 


u u 
(-A!,-E',E')|p|= -wes (9. 1.10) 
gq gq 
由 Farkas 引 理 ,(9. 1. 10) 式 有 解 的 充 要 条 件 是 
-A 
-E ld<s0,-V/(x)'d>0 


E 
无 解 , 即 
Vf/(x)'d <0,4,d>0,Ed=0 
无 解 ,这 等 价 于 问题 (9. 1.8) 的 目标 函数 最 优 值 为 0. 0 
(2) 确定 一 维 搜索 步 长 
设 从 可 行 点 x, 出 发 , 沿 可 行 下 降 方向 d, 作 一 维 搜索 ,得 后 继 迭 代 点 
Ki =X + Ad,. 
为 保证 后 继 和 迭代 点 的 可 行 性 ,可 考虑 求解 如 下 带 约束 的 一 维 最 优化 问题 来 确定 
步 长 : 
min f(x,+Ad,); 
st. A(x,+Ad,)>b, 
E(x, +Ad,) =e, 
和 人 三 0. 
由 于 d 为 可 行 点 x 处 的 可 行 方向 , 则 
Ex, =e,Ed, =0, 
因此 ,问题 (9. 1. 11) 中 等 式 约束 总 是 满足 的 . 
将 问题 (9.1. 11) 中 的 第 1 个 约束 分 解 出 起 作用 的 约束 和 不 起 作用 的 约束 . 
它们 对 应 的 系数 矩阵 分 别 记 作 4, 和 4, , 即 
Ar =b, ,A,x, >b, (9.1.12) 


A b, 
4=[,]*-[,]; 
这 样 ,问题 (9. 1. 11) 中 的 第 1 个 约束 可 以 写成 


Ax;: +AA,d, b, 
[ ] >| jE (9.1.13) 
ax + AA,d, b, 


(9.1.11) 


不 妨 假设 
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由 于 d, 为 可 行 方 向 , 则 4,d,=0, 又 人 =0,4xt =b, ,因此 在 (9.1.13) 式 中 
ze+A4d 三 有 
自然 成 立 . 约束 条 件 (9. 1. 13 ) 式 简化 为 
Asx; + AA,d, =b,, 
进而 问题 (9. 1. 11) 简 化 为 
min f(x,+Ad,); 
st. Ax, +AA,d,>b,, (9.1.14) 
A=0. 
下 面 对 这 一 问题 作 进一步 简化 . 令 
b=b, -4:r,G=4:d,， 
则 由 (9.1. 12) 式 中 第 2 式 知 ,<0. 问题 (9.1. 14) 中 的 第 1 个 约束 条 件 可 以 写成 


AQ>$. (9.1.15) 
以 下 分 两 种 情况 讨论 : 
(1) 9>0, 这 时 对 于 和 >=0,(9.1.15) 式 总 成 立 ; 
(2) 2 兰 0, 这 时 0 至 少 有 一 个 分 量 2, <0. 对 于 和 >0, 使 (9. 1. 15 ) 式 成 立 的 入 


的 上 限 为 "2 “| 记 


oa 了 |2 <0].saza 时 ， 
二 汪汪 2， (9.1.16) 
~ 当 4>0 时 ， 
则 (9.1. 14) 式 的 约束 条 件 最 终 简化 为 
0<A<Ao. 
于 是 ,问题 (9. 1. 11) 可 归结 为 一 维 搜索 
min f(x,+Ad,). (9.1.17) 


os<A<hn 


综 上 所 述 ,可 以 得 到 求解 线性 约束 问题 (9. 1. 1) 的 可 行 方向 法 的 基本 思想 ， 
先 分 解 出 迭代 点 的 起 作用 约束 ,通过 求解 线性 规划 问题 (9.1.8) 得 到 可 行 下 降 
方向 ,再 由 (9. 1. 17) 式 进行 一 维 搜索 来 求 得 后 继 迭 代 点 . 这 种 方法 是 Zoutendijk 
(1960) 给 出 的 ,叫做 Zoutendijk 法 . 下 面 给 出 该 算法 的 具体 步 又. 

算法 9 -1( 线 性 约束 Zoutendijk 法 ) 

Step 1 选取 初始 数据 . 选取 初始 可 行 点 ro, 人 允许 误差 a >0, 令 k=0. 

Step 2 ”分解 出 起 作用 约束 . 在 x; 处 分 解 
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A b, 
| 2] lsl 
使 得 和,x, = ,42z >b,, 计 算 V f(x,). 
Step 3 ”求解 辅助 线性 规划 问题 . 求解 线性 规划 问题 
min Vf(x)d; 
s.t， Ad>0, 
Ed=0， 
-1<ds1,j=1,2,.,n, 
得 最 优 解 d, 
Step 4 ”构造 可 行 下 降 方向 . 若 |VJ(zi)rdi|<e, 停 止 迭 代 , 输 出 xi; 否则 ， 
得 到 可 行 下 降 方向 d,, 转 Step 5. 
Step 5 ”进行 一 维 搜索 . 计算 人 =5, - 4,x1,9 = 4sdi, 按 (9.1.16) 式 求 出 
As 然后 求解 
min f(x,+Ad,). 


OEAGAme 


得 最 优 解 A. 令 式 ,=x + 和 Aid,,k:=k+1, 返 回 Step 2. 
现在 ,我 们 来 看 如 何 求 得 问题 (9.1.1) 的 一 个 初始 可 行 点 . 引入 人 工 变量 
(向 量 )#,n, 解 辅助 线性 规划 问题 


min Se + Dm; 
st. Ar+é¢>=b, (9.1.18) 
Ex+n = e， 
¢=0,n>0. 
如 果 问 题 (9. 1. 18) 的 最 优 解 为 
(x,#,n) = (x,0,0), 
那么 就 是 问题 (9.1.1) 的 一 个 可 行 解 . 当然 ,如 果 方 便 的 话 ,也 可 通过 观察 和 
试 算 求 得 初始 可 行 解 . 
例 9.1.1 用 Zoutendijk 法 解 下 列 问题 
min 2x? +2x3 -2xx, -4x, -6x,; 
gt. -x -%> -2, 
-xi -5x,> -5， (9.1.19) 
xi 二 0， 
x2 0, 
要 求 选取 初始 可 行 点 x。= (0,0) 
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4x, -2xs -4 
解 Y7() 了 -2x， J 
第 一 次 迭代 : 


在 x 处 ,起 作用 约束 指标 集 1(x。) = 13,41 ,对 应 有 


-lo 中- 国生-[ -二 -| -车 ， 


Vf(xo) =( -4, -6)". 
求解 辅助 线性 规划 问题 


min -4d,-6d,; 
st. d,>0, 
-1<d<1， 


-1l<d,<1, 
得 最 优 解 do = (1,1)". 


因 | 玉 f(xo) "qd | =10 关 0, 故 do 为 可 行 下 降 方向 , 沿 do 作 一 维 搜索 ,计算 
ee 
“ 


求解 


min f(xo + Adu) =2A2 -10A， 
oac 世 


得 到 Ai = 襄 , 所 以 


5 
-|| 
6 
第 二 次 迭代 : 


1(x,) = 121 ， 
-1 -1 -2 
oo， | 
0 1 0 
Vf) = (- 于 .- 纺 )- 
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图 9.1.1 第 一 次 迭代 的 图 解法 图 9.1.2 第 二 次 迭代 的 图 解法 


求解 辅助 线性 规划 问题 
min -了 4 -号 4; 
s.t. -d,-5d,>0, 
-1l<d,<!1, 
-1< 小 <1， 


得 最 优 解 d= (1， - 引 - 


因 | Vf/(xo) "a, | = 经 x0, 故 d, 为 可 行 下 降 方 向 , 沿 d, 作 一 维 搜索 ,计算 
-2] f-t -1] 5, T-13 
b=b, Ax, -| | 1 | 3 | -| -| 
0 0 1 -576 


io-| 下 (和 -各 


0 1 5 
i 
求解 
re a +Ad,)= 号 -个 \， 
得 和 =, 所 以 
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6 Sl 
第 三 次 迭代 : 
x) =121， 
ee | -2 
| 1 od 中 
0 0 
Vi =( -六 ,~ 加)- 
求解 辅助 线性 规划 问题 
二 这 -各 -d,s 
st -di-5d,>0, 
-1< 山 <1， 
-1<d,<1, 


了 


得 最 优 解 d: = 1, - 寺 ) ， 


+ 
因 |Vf(xs)"d | =0, 故 za =( 半 , 凶 为 K-T 点 . 又 因为 问题 (9.1.19) 

+ 
为 规划 ,所 以 =x, = ( 于 ,对 】 为 该 问题 的 最 优 解 0 


图 9.1.3 第 三 次 迭代 的 图 解法 图 9.1.4 Zoutendijk 法 迭代 进程 
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9.1.2 非 线性 约束 情形 


考虑 不 等 式 约束 问题 
min f(x); 
Es g(x) 20,i=1,2,.,m, (120) 
其 中 xeR",f(x) ,g(x)(i=1,2,…,m) 均 为 可 微 函数 . 
设 x 是 问题 (9.1.20) 的 可 行 解 ,点 x 处 起 作用 约束 的 指标 集 记 作 1(x) = 
和 g(x) =0,i=1,2,…,m|. 根据 定理 1.2.3 及 定理 3.3.2 的 证 明 , 如 果 de 
R", 使 
Vf/(xr)'d <o0, 
fy ets Li 人 
则 4 是 可 行 下 降 方向 . 这 样 ,求解 不 等 式 组 (9.1.21 ) 可 归结 为 求解 下 列 线性 规 
划 问 题 
min 2z; 
st. Vf(xr)d-z:<0, 
Ve(x)'d+z>0,iel(x), 
-1<d<1,=1,2,.,n. 
设 问题 (9. 1. 22) 的 最 优 解 为 (2,4) ,有 下 述 两 种 情况 : 
(1) 著 z<0, 则 4 为 x 处 的 可 行 下 降 方向 ; 
(2) 若 z=0, 则 下 面 的 定理 将 证 明 x 是 Fritz John 点 . 
定理 9.1.3 设 x 是 问题 (9.1.20) 的 可 行 解 ,函数 /(x) ,g,(x)(ie1(x) ) 在 
处 可 微 ,函数 g,(x) (i&1(x) ) 在 点 x 处 连续 , 则 x 是 Fritz John 点 的 充 要 条 件 
是 问题 (9. 1. 22) 的 目标 函数 最 优 值 为 0. 
证 明 对 于 问题 (9. 1.22) ,目标 函数 最 优 值 为 0 的 充 要 条 件 是 不 等 式 组 
VA(r)rd<0， 
Ve(x)'d>0,iel(x) 


(9.1.22) 


无 解 , 即 不 等 式 组 
ts (9.1.23) 
-Ve(rrda<oiierr) 
无 解 . 
根据 Gordan 定理 ,(9. 1. 23 ) 式 无 解 的 充 要 条 件 是 :存在 不 全 为 0 的 数 wo>0 
和 必 >0,ie 1(x) ,使 得 


wo Vf(x)- 5 wmVe(r)=0， 


ET) 


即 x 是 Fritz John 点 . 0 
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为 确定 步 长 A, ,需要 求解 如 下 带 约束 的 一 维 最 优化 问题 
min f(x, +Ad,), 


oh<hn 
其 中 
As =sup1A|g(r+Ad) 三 0E=1,2，mmj|. (9.1.24) 
算法 9 -2( 非 线性 约束 Zoutendijk 法 ) 
Step 1 选取 初始 数据 . 给 定 初始 可 行 点 x。, 允许 误差 a。 >0, 令 k=0. 
Step 2 确定 起 作用 约束 . 确定 点 x 处 起 作用 约束 的 指标 集 1 (x,) 
={ilg(x) =0,i=1,2,.… ,ml. 
Step 3 ”求解 辅助 线性 规划 问题 . 求解 线性 规划 问题 
min 2z; 
st. Vf(x)'d-z:<0, 
Ve(x)'d+z>0,iel(x,), 
-1<d<1,j=1,2,,n, 
得 最 优 解 (z ,d,). 
Step 4 构造 可 行 下 降 方向 . 若 |z, | <e, 停 止 迭 代 ,输出 xi; 和 否则 ,得 到 可 行 
下 降 方向 d, ,进行 Step 5. 
Step 5 ”进行 一 维 搜索 . 求解 
min f(x, +Ad,), 


oe 
得 最 优 解 入,, 其 中 A。 按 (9.1.24) 式 计算 . 令 zi =x + 和 sdi,k:=hk+1, 返 回 
Step 2. 


例 9.1.2 用 Zoutendijk 法 求解 
min f(x) =2x! +2x3 -2xixa -4xz) -6x,; 
St. gi(x) = -2xt+xa0， 
g(x) = -xi -5x, +5>0, (9.1.25) 
g(x) =x 0， 
g(x) =x,>0, 


取 初始 点 x。= (0,0.75)" ,迭代 三 次 . 
4zi -2x -4 
解 vi =| 


4x, -2x1 -6 二 
第 一 次 迭代 : 
I(x0) = 131,V/(x0) =( -5.5, -3)",V g(xo) =(1,0)". 
求解 辅助 线性 规划 问题 
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min zi 
st -5.5d -3d,<z, 
-d,<z, 
-1<d,<1, 
-1l<d,<!1, 
得 到 最 优 解 do。= (1, -1)7,z = -1. 

把 x。+Ad。 =(A,0.75 -A)" 代 入 问题 (9.1.25) 的 约束 条 件 , 有 
-2A* + (0.75 -A)>0, 
-A-5(0.75 -A) +5>0, 
A=0, 

0.75 -A>0, 
得 到 使 x。+ Adu 为 问题 (9. 1. 25 ) 的 可 行 解 的 A 的 最 大 值 


_ -1+V7 
Au = 一 下 


=0.411 4. 


求解 
Win ,f(xo +Ado) =6A -2.5A-3.375， 
得 Ae =0.208 3. 所 以 
xi =xo+Aodo =(0.208 3,0.5417)7. 
第 二 次 迭代 : 
1x)=@,V/(x) =( -4.25, -4.25)7. 
因此 取 d, 与 V/(x,) 同 向 , 即 d, =( -1, -1) ,得 到 z, = -8.5. 
把 xi +Ad, = (A+0.208 3,A +0.541 7)" 代入 问题 (9.1.25) 的 约束 条 件 ， 
求 得 
入 。。 =0. 347 2. 
求解 
oin,, (Xo +Ad,) =2A” -8.5A -3.635 4. 
得 A =0.347 2. 所 以 
xa =x, +Aid =(0.555 5,0.888 9)7. 
第 三 次 迭代 : 
1x) =12} ,Vf/(x,) =( -3.555 8, -3.555 4)",V g(x,)=( -1,-5)", 
求解 辅助 线性 规划 问题 
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min 2; 


st. -3.555 8d -3.555 4<z, 


-d,-5d,<z, 

-1<d<1l， 
-1<d,<1, 

得 最 优 解 

d,=(1, -0.532 5)7,z = -1.662 5. 
类 似 地 容易 求 出 

A = 0. 092 5. 

再 求解 


in (Xa +Ad,) =3.632 1A* -1.662 5A -6.345 5, 
得 和 ,=0.092 5. 所 以 
xy =x, +Aad = (0.648 0,0. 839 6)7. 0 
计算 实践 和 理论 分 析 表 明 ,该 算法 可 能 失效 或 出 现 锯齿 现象 ,使 算法 收敛 很 
慢 甚至 不 收敛 到 最 优点 或 K -T 点 . 


9%1.3 Zoutendijk 法 的 改进 


对 于 线性 和 非 线性 不 等 式 约束 问题 ,前 面 我 们 仅 使 用 起 作用 约束 来 确定 搜 
索 方 向 . 当 某 迭 代 点 在 一 个 约束 的 边界 上 时 ,如 果 可 行 方 向 取得 不 恰当 ,那么 沿 
该 方向 可 能 因 接近 另 一 个 约束 边界 而 只 能 作 一 个 微小 的 移动 ,否则 ,就 会 使 迄 代 
点 跑 出 边界 . 为 防止 这 一 现象 发 生 ,设想 在 约束 条 件 的 边界 上 设立 一 道 “ 安 全 
带 ” ,迭代 点 进入 “安全 带 " 时 ,只 允许 它 往 可 行 域内 部 移动 ,而 不 许 向 边界 个 近 ， 
为 此 引入 e 起 作用 约束 的 概念 , 即 在 构造 可 行 方向 时 , 既 把 通过 当前 迭代 点 的 约 
束 边界 看 作 起 作用 约束 ,也 把 充分 靠近 当前 迭代 点 的 边界 约束 考虑 在 内 ， 
对 于 给 定 的 es >0 , 称 
L(xi) = 和 10<&i(xe)<et 
为 点 x, 处 的 es 起 作用 约束 指标 集 . 
算法 9 -3(s 起 作用 约束 可 行 方向 法 ) 
Step 1 给 定 初始 可 行 点 x。, 允许 误差 se >0,e >0,e' >0, 令 k=0. 
Step 2 ”确定 es, 起 作用 约束 指标 集 
1 (x) =1il0sg(x) <el. 
计算 Vf/(x). 
Step 3 ”求解 辅助 线性 规划 问题 
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min zj; 
st. Vf/(x)'d-z<0, 
Vai(xi) "d+nz>0,iel, (x,), 
-1l<ds<1,j=1,2,.…,n, 
得 最 优 解 (zx ,di). 其 中 , 当 。 起 作用 约束 为 线性 约束 时 , 取 nm, =0; 当 e 起 作用 约 
东 为 非 线 性 约束 时 , 取 n, =1. 
Step 4 若 |z| <e, 转 Step6; 否 则 ,进行 Step 5. 
Step 5 求解 


min f(x, +Ad,), 
OAcAme, 


得 最 优 解 和 ,其 中 As 按 (9.1.24) 式 计算 . 令 xi =x+Aidi,k:=k+1, 返 回 
Step 2. 

Step6 若 es<e' ,停止 迭 代 , 输 出 xi 否则 , 令 el =as,(0 <a<1),k:= 
上 +1, 返 回 Step 2. 

为 防止 锯齿 现象 ,还 可 考虑 起 作用 约束 和 不 起 作用 约束 在 确定 搜索 方向 中 
都 起 作用 . 这 种 全 作用 约束 方向 法 是 Topkis 和 Veinott( 1967 ) 提出 并 保证 收敛 于 
Fritz John 点 . 对 于 问题 (9. 1. 20) 的 一 个 可 行 点 x, 通 过 求解 下 面 修改 的 辅助 线性 
规划 问题 来 确定 搜索 方向 : 

min zi 

Sst, Vf/(x)'d-z<0, 
Vel(x) d+z> -g(x),i=1,2,.,m 人 
-1<d<1,j=1,2,,n. 

定理 9.1.4 设 x 是 问题 (9.1.20) 的 可 行 解 ,函数 /(x) ,g(x)(i=1,2,…， 
m) 在 点 x 处 可 微 ,(z,4) 是 问题 (9.1.26) 的 最 优 解 .如果 z<0, 则 d 为 x 处 的 可 行 
下 降 方向 ;而 且 ,z=0 当 且 仅 当 x 是 一 个 Fritz John 点 . 

证 明 记 1(x) =|i|g.(x) =0,i=1,2,…,m|}. 若 z<0, 则 对 一 切 ie7T(x) 
有 g(x)"d >0, 又 V/(x)"d <0, 故 (9.1.21) 式 成 立 ,于 是 ,d 为 可 行 下 降 
方向 . 

我 们 知道 ,对 一 切 ie 1(x) ,g,(x) =0; 对 一 切 is1(x),g,(x) >0. 容易 验 
证 ,z=0 当 且 仅 当 不 等 式 组 

Vf(x)"d<o, 
{0 deny 
无 解 . 类 似 于 定理 9.1.3 的 证 明 , 由 Gordan 定理 知 ,该 组 无 解 当 且 仅 当 x 是 一 个 
Fritz John 点 . 0 
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算法 9 -4( Topkis - Veinott 可 行 方向 法 ) 
Step 1 给 定 初始 可 行 点 x。 ,人 允许 误差 >0, 令 k=0. 
Step 2 求解 辅助 线性 规划 问题 
min zj 
st. Vf(x)'d-zs<0, 
Ve(xi) d+z> -g(x) ,i=1,2,,m, 
-1< 几 <1J=1,2,…，,n， 
得 最 优 解 (z ,du ). 
Step3 若 |z1 <e, 则 停止 计算 ,输出 x,; 否 则 ,进行 Step 4. 
Step 4 求解 
min f(x,+Ad,), 


得 最 优 解 A, ,其 中 A。 按 (9.1.24) 式 计算 . 令 zs = + Aidi,k:=k+1， 
转 Step 2. 


9.2 梯度 投影 法 


考虑 线性 约束 问题 
min f(x); 
s.t. Ax>=b, (9%2. 1) 
Ex=e, 
其 中 /(x) 为 可 微 函 数 ,A 为 m xn 和 矩阵,E 为! xn 和 矩阵 ,xe R",beR",eeR'. 
我 们 知道 ,目标 函数 的 最 速 下 降 方向 是 负 梯度 方向 . 但 是 ,在 有 约束 情况 下 ， 
沿 最 速 下 降 方向 移动 可 能 导致 非 可 行 点 . Rosen (1960 ) 提出 ,并 由 Goldfarb 和 
Lapidus(1968 ) 加 以 改进 的 梯度 投影 法 ( gradient projection method ) 是 对 负 梯 度 通 
过 既 改 进 目标 函数 值 同时 又 保持 可 行 性 的 
方式 进行 投影 . 具体 说 来 就 是 , 当 和 迭代 点 在 
可 行 域内 部 时 , 取 该 点 处 的 负 梯 度 方向 为 可 
行 下 降 方向 ; 当 和 迭代 点 在 可 行 域 边界 上 时 ， 
取 该 点 处 负 梯 度 方向 在 可 行 域 边 界 上 的 投 
影 产生 一 个 可 行 下 降 方向 ( 见 图 9. 2.1). 
怎样 得 到 一 个 方向 在 某 子 空间 上 的 投 
影 方 向 呢 ? 下 面 我 们 引入 投影 矩阵 
(projection matrix ) 的 概念 . 


VIX) 


图 9.2.1 投影 梯度 法 的 搜索 方向 
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9.2.1 投影 矩阵 


设 V 是 R" 的 子 空间 ,对 于 任意 xeR", 可 惟一 分 解 为 
x=p+q,peV,geV. 
若 和 矩阵 Pe RR" ,使 p =Px, 则 称 P 为 R" 到 子 空间 了 的 正 交 投 影 矩 阵 ,简称 为 投 
影 矩 阵 ( projection matrix) ,p 称 为 x 在 V 上 的 投影 . 
设 MM 是 mxn(m<n) 行 满 秩 矩阵 ,M" 的 m 个 列 向 量 生 成 的 子 空间 记 作 
Vu ,Vu 的 正 交 补 子 空间 用 Vs 表示 , 则 
Vi =1x|Mxr=0! 
是 M 的 零 空间 . 对 于 任意 xeR", 可 惟一 分 解 为 


xX=p+q,peVy,qgeVs, (9.2.2) 
P,9 分 别 是 x 在 Vs 和 Vs 上 的 投影 , 记 
p=Px,g=Qx, (9.2.3) 


则 P,Q 分 别 是 R" 到 yw 和 R" 到 Vs 上 的 投影 矩阵 . 
因 p 可 表示 为 M" 的 m 个 列 向 量 的 线性 组 合 , 即 存在 系数 向 量 me R”" ,使 
p=M'n. (9.2.4) 
将 (9.2.4) 式 代入 (9.2.2) 式 ,然后 两 端 左 乘 M ,并 注意 到 Mg =0, 则 
Mx = MM"'™n. 
因 M 行 满 秩 , 有 
n= (MAMT) -Mrz. 
将 其 代入 (9. 2.4) 式 得 
p=M'(MM')™'Mzx, 
将 上 式 代 入 (9.2.2) 式 得 
gqg= [1-M'(MM') M]x, 
再 根据 (9. 2. 3) 式 得 
P=M'(MM')'M, 
Q=1-M'(MM')'M. 
容易 验证 ,投影 矩阵 P,Q 是 知 等 的 对 称 和 矩阵 . 反之 ,一 个 寡 等 的 对 称 和 矩阵 必 
是 一 个 投影 矩阵 ,这 就 是 下 面 的 定理 . 
定理 9.2.1 设 尸 为” 阶 矩阵 ,PP = 忆 , 且 疡 = 己 , 则 忆 为 投影 矩阵 . 
证 明 记 
Vi=iplp=Pr,xeR|,y,=1qg|gq=Qx,xeR"|, 
其 中 ,Q =1-P, 则 V,,V, 是 R" 的 子 空间 , 且 对 任意 xeR", 可 分 解 为 
x=p+q,peV,,geV,. 
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又 对 一 切 peV,,qeV,, 有 
p'qg=x'P'Qx=x'P(I-P)x=x'(P-P’)xr=0, 
故 V,=Vi ,从 而 P 为 R" 到 内 的 投影 矩阵 . 0 
投影 矩阵 具有 下 述 性 质 : 
(1) 若 己 为 投影 矩阵 , 则 己 为 半 正 定 和 矩阵 ; 
(2) P 为 投影 矩阵 的 充 要 条 件 是 Q =1 -P 为 投影 矩阵 . 


9.2.2 梯度 投影 法 
定理 9.2.2 设 x 是 问题 (9.2.1) 的 可 行 解 ,在 点 x 处 有 A,x=b,,A,x >b,， 


其 中 
A b, 
并 网 | 
又 设 订 = [全] 为 行 满 秩 逢 阵 , 记 投影 知 阵 
P=I-M' (MM')'M, 

若 PVf(x) #0, 则 d= -PV/(x) 是 点 x 处 的 可 行 下 降 方向 . 

证 明 因 P 为 投影 矩阵 ,P Vf(x) #0, 故 

Vix)d =- Vi) PV/(x) =-1PVAG)1l <0， 

即 d 为 下 降 方向 . 

根据 假设 ,又 有 

Md = -MPVf(x)= -M(I-M'(MM') 'M)V /f(x) 
=( -M+M)V/(x) =0, 

即 41d =0,Ed =0, 根 据 定理 9.1.1,d 是 点 x 处 的 可 行 方向 . 所 以 ,d 是 可 行 下 降 
方向 . 0 

上 述 定理 表明 ,在 PV/(x) #0 的 假设 下 ,如 果 M 为 空 , 即 迭代 点 在 可 行 域 
内 部 时 , 负 梯 度 方向 d = -六 (zx) 为 可 行 下 降 方向 ;如 果 M 非 空 , 即 和 迭代 点 在 某 
些 约束 的 边界 上 时 ,该 点 处 的 负 梯 度 在 M 的 零 空间 上 的 投影 为 可 行 下 降 方向 . 

如 果 PV/(x) =0 时 , 则 由 下 面 的 定理 知 ,或 者 x 是 K-T 点 ,或 者 可 以 构 
造 新 的 投影 矩阵 以 便 求 得 可 行 下 降 方向 . 

定理 9.2.3 设 x 是 问题 (9.2.1) 的 一 个 可 行 解 ,在 点 x 处 ,有 Ax=b,,A,x 


>5b,, 其 中 
4， b, 
lV 


> 
又 设 M=|[ | 为 行 满 秩 短 阵 , 令 
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P=I-M' (MM) MN ,外 =(MMT) -MOr) -| 中]， 
v 


其 中 w 和 vw 分 别 对 应 于 和 矩阵 4, 和 E, 设 PVf(x) =0, 则 

(1) 如 果 w=0, 那 么 x 为 K-T 点 . 

(2) 如 果 w 中 含有 负 分 量 , 不 妨 设 <0, 这 时 从 4, 去 掉 u 对 应 的 行 ,得 到 
全 , 令 


[5] =1 A) -fr,d= -PY f(x), 


那么 4d 为 点 x 处 的 可 行 下 降 方 向 . 
证 明 先 证 (1). 由 于 PVAF(r) =0, 因 此 有 
0= PV/(x) = [TI-HMTOMMT)-M] Vf/(x) 
= V/(x) - M'(MM) "MV/(x) 
= V/(x) (41,E)[]= V/(x) - Alu -Ew, (9.2.5) 
也 
当 w>0 时 ,(9.2.5) 式 恰 为 K-T 条 件 ,因此 是 K-T 点 . 


再 证 (2) . 设 w<0, 先 证 BV/(x) 关 0. 用 反 证 法 . 假设 PV/(x) =0, 由 的 
定义 可 以 推出 


0= 人 2VAr)=(T- 奉 "( 府 个) 一 府 ) 立 FCz) 
= VCr) - A ty, (9.2.6) 


其 中 命 = ( 府 府 -) … 府 VJ(z). 设 六 是 4 中 对 应 的 行 向 量 (第 j 行 ) ,由 于 

Alu+E'v=AT ntur +E'v=A" W+ur,, (9.2.7) 
其 中 太 = [5] ,= 为 w 中 划 去 分 量 的 向 量 因此 ,将 (9.2.7) 式 代入 (9.2.5) 
式 得 

0=V/(x) -A Wo-ur,, (9.2.8) 
将 (9.2.6) 式 与 (9.2.8) 式 相 减 得 
0= 丛 '(W- 冶 ) + ur, 

上 式 右 端 为 MT 的 列 向 量 的 线性 组 合 , 且 至 少 有 一 个 系数 uw 关 0(u <0) ,由 此 得 
出 Mr 的 列 向 量 组 线性 相关 ,这 与 M 为 行 满 秩 矩 阵 的 假设 矛盾 . 因此 , 必 有 


PY/(x) #0. 


由 于 有 为 投影 矩阵 ,PVA(z) 六 0, 因 此 d= -PV/(x) 是 下 降 方向 .再 证 d 为 
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可 行 方向 . 因为 
Arad = -PV f(r) = - 府 (T- 府 ( 府 在 7) 一 府 )wFCz) 


= -( 让 -个 )VJF(z) =0， 
所 以 


Ad = 9,Ed =0. (9.2.9) 
又 由 (9.2.8) 式 两 端 左 乘 rr ,得 
rr PVfCx) -7 PMT Wo- ur! Br =0. 
因 PBA" =0,d = -PVf(x) ,上 式 即 


rid +uwr! Br =0. (9.2.10) 
因 P 半 正定 , 故 rr Br >0, 又 内 <0, 则 由 (9.2.10) 式 知 
rrd>0. (9.2.11) 
由 (9.2.9) 和 (9. 2.11) 两 式 得 
Aid>0,Ed =0. 
根据 定理 9. 1. 1,d 为 可 行 方向 . 所 以 ,d 为 x 处 的 可 行 下 降 方 向 . 0 


上 述 两 个 定理 给 出 了 梯度 投影 法 中 可 行 下 降 方向 的 构造 以 及 算法 停止 于 
-T 点 的 条 件 . 梯度 投影 法 中 沿 可 行 下 降 方 向 的 一 维 搜索 与 Zoutendijk 法 中 的 一 
维 搜索 相同 . 

算法 9 -5( 梯 度 投影 法 ) 

Step 1 选取 初始 数据 . 选取 初始 可 行 点 re, 允许 误差 a >0, 令 k=0. 

Step 2 分解 出 起 作用 约束 . 在 点 x 处 ,将 4 和 5 分 解 为 


4, b, 
Ee 
A b, 
使 得 Aix =b, ,A2x, > 


Step 3 ”确定 投影 矩阵 . 令 


车 M 为 空 , 则 令 P=1.(n 阶 单位 矩阵 ) ,否则 , 令 
P=1.-M' (MM') 'M. 
Step 4 ”构造 可 行 下 降 方向 . 令 di = -PV/(x,), 若 上 di 中 <s, 则 转 Step 5; 
否则 ,进行 Step 6. 
Step 5 ”检查 起 作用 的 约束 数 ,判定 迭代 点 x 是 否 在 可 行 域内 部 . 若 M 为 
空 , 则 停止 迭代 ,输出 x; 否则 , 令 
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W= (MM') MV/(x,) -| 中 ， 
其 中 wa 分别 对 应 于 4, 和 至 如 果 a>0, 则 停止 迁 代 ,输出 二 ;如 果 二 关 0, 则 在 
4 中 选择 一 个 负 分 量 ,比如 ,修正 4,, 即 去 掉 A, 中 对 应 u 的 行 以 后 得 矩阵 的 
全, 令 4,:= 有 人,, 转 Step 3. 


Step 6 ”进行 一 维 搜索 . 计算 多 =b, -A,x, ,9 =A,d, ,求解 
min f(x, +Ad,), 


Ah 


得 最 优 解 A,, 其 中 
8 
mi 人 了 |2 <9], 当 azo 对， 
A. = "a 


oo ， 当 Q>0 时 ， 
令 = +Aid,,k:=k+1, 转 Step 2. 
例 9.2.1 用 梯度 投影 法 求解 问题 (9.1.19) ,要 求 选取 初始 可 行 点 ro = (0， 
0)". 
4x, -2x, - 4 


得 VA -2x, +4x; -6 小 


第 一 次 迭代 : 
在 x。 处 ,起 作用 约束 指标 集 1(x。) = 13,4} ,对 应 有 


OE HE er 


Vf/(xo) =( -4,-6)". 
投影 矩阵 ( 若 4, 为 非 奇 异 方 阵 , 则 已 =0) 


P=1-A'(A,AT) -4， =[s 引 
令 do= -PVf(x,) =(0,0)", 
W=(41,47) "A V/(x,) =| | =[, |] 
因 W 中 含 负 分 量 , 故 修正 A,. 在 4, 中 去 掉 w= -6 对 应 的 行 , 即 第 2 行 ， 
得 全 = (1,0). 再 求 投影 矩阵 


P =T-4T(4,47) -14， -[。 | -[u[oo[a] 0) 


中 让 [可 -证 
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人 = PVG) = -[6 | -本 -| 洽 几 过 一 入 过 ,计算 
-6-4 [3] [7 [dl-[ 
a-44=[ lo] [a 

因此 =min[ 二 86,30} -二 角 


6" -30】 6- 
,min (za +Ado) =72A? -36A， 
oat 


得 最 优 步 长 A。 = 六 令 =xo+hog = (0,1)7 
第 二 次 迭代 : 
1(x,) = 12,31 ,对 应 有 
-1 -5 -5 se 2 
4 =[ 1 o]» =| oj 0 | ol 
Vf/(x) = (-6, -2).. 
投影 矩阵 
Pr-4C4D 4 =[0 中 


令 di= -PV/(x)=(0,0)", 


0 
W=(4,47) 4 V/(x) 二 
1 


a 下 


加 | 引咎 
因 W 中 含有 负 分 量 , 故 从 4, 划 去 u, = -从 所 对 对 应 的 第 二 行 ,得 4, = ( - 1， 


-5). 令 
已 =T-4T(447) 4， 


是 A a 


d= -PVAGr) = -1)". 


不 妨 去 掉 前 面 的 系数 , 取 搜 索 方向 d, = (5, -1)". 沿 d, 进行 一 维 搜索 ,计算 
*250. 


sm 


a [a 
Amin{ 二 ,二 = 证 


解 min / (x +Ad,) =62A” -28A -4, 得 到 入 , = 
one 二 


7 
Sy 
Tid 


x = T+Ad = 外 纪 ) 
第 三 次 迭代 : 
在 x, 处 ,1(x,) ={1}, 对 应 有 


-1 -1 
co 1 中 | 
0 1 


Vw) =( -新 ,- 铝 ] 
投影 矩阵 
P =1-A'(A,A!) 4， 


ON 


25 


26 


5 
26 


d= PV/(x) =(0,0)",W=(41,AT) A YACa) = >0. 


由 定理 9.2.3 知 ,x = [3, 狂 ) 为 K-T 点 ， 


由 于 本 例 为 凸 规划 , 故 x, 为 全 局 最 优 解 . 


图 9.2.2 投影 梯度 法 迭代 进程 


"251 


9.3 ”有 既 约 梯度 法 


1963 年 ,Wolfe 将 线性 规划 的 单纯 形 法 推广 到 具有 非 线性 目标 函数 的 问题 ， 
提出 了 产生 可 行 下 降 方 向 的 男 一 类 方法 , 称 为 既 约 梯度 法 (reduced gradient 
method ). 


考虑 问题 
min f(x); 
st. Axr=b, (9.3.1) 
x=0, 


其 中 4 为 xn 矩阵 ,mm<n,EeR reR 


9.3.1 用 既 约 梯度 构造 可 行 下 降 方 向 


设 问题 (9. 3. 1) 的 约束 是 非 退 化 的 , 即 假设 4 的 任意 m 个 列 均线 性 无 关 , 并 
且 每 个 基本 可 行 解 均 有 mm 个 正 分 量 . 这 时 rank 4 =m. 

设 x 为 问题 (9.3.1) 的 任 一 可 行 解 ,B 是 m x m 可 道 矩阵 ( 基 抢 阵 ) ,将 矩阵 
4 和 向 量 x 作 相应 划分 : 


4-(B,N,x=[ "| 


其 中 xs 的 分 量 称 为 基 变 量 ,xs 的 分 量 称 为 非 基 变量 ,并 且 由 假设 re >0 知 ,x 为 
非 退 化 的 可 行 解 . 
将 问题 (9. 3. 1 ) 表述 为 
min f(xasxn); 
人 Bxre + Nx, =b, (9.3.2) 
x yw 二 0. 
由 问题 (9.3.2) 中 等 式 约束 知 
xs=B 'b-B 'Nxy,. 
代入 问题 (9. 3.2) 中 目标 函数 , 记 
F(xn) =f(xa,xy) =/ (xa(Xn) rw)， 
于 是 ,问题 (9. 3. 1) 简 化 为 仅 在 变量 非 负 限制 下 的 极 小 化 问题 


min F(xn); 
st. xs=B 'b-B Nery>=0, (9.3.3) 
xn=0. 


这 是 一 个 二 -mm 维 问题 ,而且 除 变量 非 负 约束 外 不 带 其 他 约束 条 件 ,因此 ,问题 
a Ls 


(9.3.3) 是 比 原来 问题 较 低 维 的 简单 问题 . 


利用 复合 函数 求 导 法 则 ,可 求 得 F(zw ) 的 梯度 , 即 /(z) 的 既 约 梯度 (reduced 
gadient ) 


r(xzw) =VF(zw) = Vf (x) -(B IN) VCz). 
显然 , 沿 负 既 约 梯度 方向 -r(xy) 移 动 xw ,能 使 目标 函数 下 降 ,但 如 何 得 到 可 行 
下 降 方向 呢 ? 
根据 定理 9. 1. 1, 非 零 向 量 d 为 处 的 可 行 下 降 方向 的 充分 条 件 是 


Vf/(x)'d <0, (9.3.4) 
Ad =0， (9.3.5) 
d=0, 当 xn =0 时 . (9.3.6) 


ds 
考 按 照 x=[”“] 的 分 角 方 式 .把 纹身 量 a 分 解 为 4=[ ] ,由 由 (9.3.5) 式 和 


Bd + Nd =0, 故 
d = -B'Nd,. (9.3.7) 


另 一 方面 ， 
V/(x) d= Vf (x) ds + Vs, f(x) dy 
= Vi f(x) (-B'Nd,) + Vf(x)'d, 
= r(xn) dy, 
由 (9.3.4) 式 知 , 若 d 满足 
r(xn)'d, <0， (9.3.8) 
并 同时 满足 (9. 3.6) 式 和 (9.3.7) 式 ,那么 d 为 可 行 下 降 方向 . 
如 果 简 单 地 取 dv = -r(xs), 则 (9.3.8) 式 成 立 ,d 为 下 降 方 向 . 但 是 , 当 某 
个 分 量 xw =0 且 r(xw) >0 时 ,导致 (9.3.6) 式 不 成 立 , 破 坏 了 可 行 性 . 所 以 ， 
Wolfe 采用 如 下 修正 : 
0， 若 xw =0 且 mxzw) >0， 
及 | 一 n(xw) ， 理 则 . 
但 Wolfe 后 来 举例 说 明了 采用 上 述 搜索 方向 时 算法 可 能 收敛 到 非 K -T 点 . 为 
此 ,Me Cormick 对 上 式 作 出 了 修正 , 即 令 
-xzwr(rw)， 当 rn(xrw) >0 时， 
人 当地 (xw) <0 时 . 
容易 验证 , 按 (9.3.9) 式 定义 的 非 零 向 量 dv 满足 (9. 3.6) 和 (9.3.8) 式 . 所 以 , 按 
(9.3.7) 和 (9.3.9) 式 构造 的 非 零 向 量 是 可 行 下 降 方向 ,而 且 我 们 将 看 到 d =0 
的 充 要 条 件 是 zx 为 K-T 点 . 


(9.3.9) 
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定理 9.3.1 设 x 是 问题 (9.3.1) 的 可 行 解 ,B 为 基 矩 阵 ,对 应 有 4 = (B， 
N) ,x= [|] 但 设 x >0,f:R" 中 在 点 x 处 可 微 ,又 设 d 是 按 (9.3.7) 和 
Xn 


(9. 3.9) 式 定义 的 方向 , 则 
(1) 当 dz0 时 ,d 是 f 在 点 x 处 的 可 行 下 降 方向 ; 
(2) d =0 的 充 要 条 件 是 x 为 K-T 了 点 . 
证 明 当 4dz0 时 , 必 有 dw 了 0, 如 前 所 述 ,d 为 可 行 下 降 方向 . 往 证 (2). 


x 为 K-T 点 的 充 要 条 件 是 存在 乘 子 4 = 网 >0 和 ,使 得 


Vf (x) BT us 0 
[ype -[w)*-[] -| 中 ， 
(9.3.10) 
uyxs =0， 
RON =0. 
因 xs >0 且 un>0, 故 zxs =0 当 且 仅 当 ws=0, 代 入 (9.3.10) 中 第 1 式 得 
v=(B') VCr)， 
uy = Vf (x) - (BN)" Vi f(x) =r(xn). 
因此 ,K -T 条 件 等 价 于 


r(xn) >0,r(xy) xy =0. (9.3.11) 
由 d 的 定义 ,4d =0 当 且 仅 当 ds =0. 而 dv =0 当 且 仅 当 (9.3. 11) 式 成 立 . 因 
此 ,d =0 的 充 要 条 件 是 x 为 K-T 点. 0 


9.3.2 确定 一 维 搜索 步 长 


当 和 迭代 点 x,0 时 ,为 保持 x,,, >0, 即 确定 和 >0 的 范围 ,使 得 


0 +Ad® >0,7=1,2,.,n. (9.3.12) 
(9 


当 dw >0 时 ,对 任意 人 >0,(9.3.12) 式 恒 成 立 . 当 di <0 时 ,应 取 A< 了， 
故 令 


(4) 
二 (0 . 
| 可 | < 中 ， , 0， a 
o， d,>0. 
这 样 , 步 长 的 确定 归结 为 一 维 搜索 
min f(x +Ad,). 


OA An 
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算法 9 -6(Wolfe 既 约 梯度 法 ) 
Step 1 选取 初始 数据 . 选取 初始 可 行 点 x。 ,给 定 允 许 误差 a >0, 令 上 =0. 
Step 2 ”进行 矩阵 分 解 . 从 xs 中 选取 m 个 最 大 分 量 ,对 应 的 变量 的 指标 集 记 
作 凡 , 令 刀 是 由 指标 属于 上 的 4 的 列 构成 的 m 阶 方 阵 ,余下 的 列 构成 矩阵 NN. 
Step 3 求 既 约 梯度 . 计算 f(x,) -| : 
Wl) 
rz ) =Vf (x) - (BN)' Vf (x,). 
Step 4 构造 可 行 下 降 方向 . 令 
xn(xW)， 当 (x 让) >0 时 ， 
dad sk i 
| -n(x 由)， 当 (x 凡 )<0 时 ， 
di = -已 -Nd 
Step 5 ”检查 终止 条 件 . 若 上 di 1 <s=, 则 停止 计算 ,输出 x ;否则 , 转 Step 6. 
Step 6 ”进行 一 维 搜索 . 求解 
OA) 
得 最 优 解 A, ,其 中 Ao 按 (9.3. 13) 式 计算 . 
令 ,1 =X +Ad,,k:=k+1, 转 Step 2. 
例 9.3.1 用 Wolfe 既 约 梯度 法 解 下 列 问 题 
min f(x) =2x? +2x3 —2x,x, -4x| -6x2; 
8.t. Xl+x2 +X3 =2, 
Xl +Sxz +xX4 =5, 
%,>0,)=1,2,3,4. 
要 求 取 初 始点 x。= (0,0,2,5)". 


py 
Ws | 4x, -am -6 
解 4=|， 中 .Yo =- 和 
0 
第 一 次 迭代 : 


=13,41,8=[, 中 "= 直 ， 


Vf/(xo) =( -4,-6,0,0)". 
rz) = Vf (x0) - (BN)T Vif (xo) 


=[-4-[l 引 仙 = 人， 
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do =(4,6) ,do = -B-'Nd® =(-10,-34)7， 
故 得 d。 = (4,6, - 10, -34)" 为 可 行 下 降 方向 . 因 d, 关 0, 沿 d。 进行 一 维 搜索 ， 


求 出 
RN =min{ 徊 ， | = 齐 ， 


min f(xo +Ad,) =56A -52A， 


o<a< 豆 


得 最 优 解 M。 = 芳 . 于 是 ,下 一 迭代 点 


并 求解 
第 二 次 迭代 : 


ro [号 相 


-58] [了 2 

-2 17 
i111| 62| 12 

1 +17 
513 0) do -_B-INdO = (2565 _ 513 
dn = (-28') ee Nas = (ris 156) ， 
2565 _ 513 _513 
故 得 路 = (1156' -156' -389， 0) 为 可 行 下 降 方向 . 因 di #0, 沿 由 进行 一 维 


搜索 , 求 出 


A 


| _1507 9/17 1_17 
=min{5137 156'51397285} = 57， 
并 求解 


i ey ee 2 _29 241 1 860 


2 = 668168 4913* 289， 
得 最 优 解 ,= 于 是 ,下 一 迭代 点 


3 
Za =X Et ) 
第 三 次 迭代 : 


HE 
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V7) =( - 强 , -各 .0.0 
op nt on -| [9 
ra)=[0]-[l :| [s 中 _160 -sl 
31 


dw =(0,0) ,da8 =(0,0)", 


: ， 
于 是 ,由 = (0,0,0,0)". 因为 由 =0, 从 而 停止 迁 代 ,z: = [部 ,- 双 , 寺 ,0) 为 


K -T 点 ,也 是 最 优 解 . 0 
图 9. 3. 1 给 出 了 其 迭代 过 程 的 图 示 . 
最 后 指 出 ，Abadie 和 Carpentier 
(1969) 成 功 地 把 Wolfe 既 约 梯度 法 推广 
于 求解 带 非 线性 等 式 约束 的 情形 ,提出 了 Rm 
著名 的 GRG 法 ( generalized reduced 
gradient method ,广义 既 约 梯度 法 ). 数值 


如 


如 
实例 表明 ,GRG 法 是 目前 求解 约束 非 线 性 0 
最 优化 问题 的 最 有 效 的 方法 之 一 (参见 文 

献 [3 ,50] ). 图 9.3.1 Wolfe 既 约 梯度 法 迭代 进程 


9.4 Frank - Wolfe 方法 


1956 年 ,Frank 和 Wolfe 提出 了 一 种 求解 线性 约束 问题 的 算法 ,其 基本 思想 
是 将 目标 函数 /(x) 作 线性 近似 ,通过 求解 线性 规划 求 得 可 行 下 降 方 向 ,并 沿 该 
方向 在 可 行 域内 作 一 维 搜索 . 这 种 方法 又 称 为 近似 线性 化 方法 (approximation 


linearization method ) . 


考虑 问题 
min f(x); 
8.t. Axr=b, (9.4.1) 
x>=0, 


其 中 4 为 m x 行 满 秩 和 矩 阵 ,b e R",/:R" 一 R 为 可 微 函 数 ,并 记 可 行 域 为 
S={x|Ax=b,r>0}. 


9.4.1 近似 线性 化 和 可 行 下 降 方向 


设 迭 代 点 x e 5, 利 用 Taylor 公式 得 到 /在 点 x 处 的 线性 近似 
f(x) =f (x) + Vf(x) (x x). (9.4.2) 
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用 上 式 右边 的 线性 函数 近似 代替 问题 (9. 4. 1) 中 的 目标 函数 /(x) ,就 得 到 了 与 
问题 (9. 4. 1) 近 似 的 一 个 线性 规划 问题 


位 f(x2) + Vr) (xx); (9.4.3) 
Ss.t. YES. 
去 掉 目 标 函 数 中 的 常数 项 ,问题 (9.4.3) 等 价 于 
上 Vf/(x) rx; pe 
Ss.t. xes. : 


假设 此 问题 存在 有 限 最 优 解 y,, 则 由 线性 规划 的 基本 定理 可 知 ,这 个 最 优 解 可 在 
某 个 极点 上 达到 . 
现在 我 们 讨论 问题 (9. 4. 1) 和 问题 (9. 4. 4) 的 关系 . 
定理 9.4.1 设 /:R" 一 R 可 微 ,x,e5, 如 果 y 是 问题 (9.4.4) 的 最 优 解 , 则 
(1) 当 玉 /x "(yi -x) =0 时 ,x 是 问题 (9.4.1) 的 K-T 点 ; 
(2) 当 玉 /(x4) "(yi -zi) 天 0 时, 向量 
di = -Xs 
是 /在 点 x 处 的 可 行 下 降 方向 . 
证 明 (1) 设 VA(z) (On -zi) =0, 因 yy 是 问题 (9.4.4) 的 最 优 解 , 则 xx 
也 是 问题 (9.4.4) 的 最 优 解 ,因此 ,x, 是 问题 (9.4.4) 的 K -T 点 .所 以 ,存在 乘 
子 向 量 w>0(ueR") 和 weR", 使 
V/(x) -u-A'v=0, 
ax =0, 
Ax, =b, 
2 二 0. 
以 上 诸 式 恰 为 问题 (9.4.1) 的 K-T 条 件 ,所 以 x 也 是 问题 (9.4.1) 的 K-T 了 点. 
(2) 设 Vf(x0) "Ty 一 x) 关 0, 则 和 Vf(x) "(ys -x) <0, 因 此 ,d=y, 一 x 
为 点 x 处 的 下 降 方向 . 
又 因 5 为 凸 集 ,x e 5,y, e 5, 则 连接 x 和 yy 的 线段 必 含 于 5, 即 对 每 一 个 
Ae[0,1], 有 
Ays + (1 —A)x, =x, +Ad,eS. 
故 d 是 可 行 方 向 . 从 而 di 为 可 行 下 降 方向 . 0 


9.4.2 Frank - Wolfe 算法 及 其 收敛 性 


算法 9-7(Frank - Wolfe 近似 线性 化 方法 ) 
Step 1 选取 初始 数据 . 取 初 始点 xo。e 5, 给 定 允 许 误差 a >0, 令 k=0. 
Step 2 求解 近似 线性 规划 . 求解 线性 规划 问题 

"258 . 


min Vf(x) x; 
[ss xES， 

得 最 优 解 六 

Step 3 ”构造 可 行 下 降 方 向 . 令 d=y -xi, 若 上 Vf(xi) "di <e, 停 止 计 
算 ,输出 zi; 否 则 ,d, 为 可 行 下 降 方向 , 转 Step 4. 

Step 4 ”进行 一 维 搜索 ,求解 

tA) 

得 最 优 解 A. 令 zi =z + Aidi,k:=k+1, 转 Step 2. 

下 面 给 出 Frank - Wolfe 法 的 收敛 定理 . 

定理 9.4.2 设 /:R" 一 R 具有 一 阶 连续 偏 导数 ,S 有 和 界 ,x。e 5, |x,| 是 由 
Frank - Wolfe 算法 产生 的 迭代 点 列 , 则 

(1) 当 |x,| 是 有 穷 点 列 时 ,其 最 后 一 个 点 是 问题 (9.4.1) 的 K-T 点 ; 

(2) 当 {x,| 是 无 穷 点 列 时 , 它 必 有 极限 点 ,并 且 其 任 一 极限 点 e 5 是 问题 
(9.4.1) 的 K-T 点 ; 

证 明 (1) 若 算法 在 有 限 步 终止 ,根据 终止 规则 YA(zi) (ye -x,) =0 及 定 
理 9.4.1 知 zu 为 K-T 点 . 

(2) 若 算法 产生 一 个 无 穷 点 列 j xi , 则 对 任意 人 ,都 有 


人 = 一 2 天 0. 
则 d, 为 可 行 下 降 方向 , 即 
VAGr)Tr0 -x,) <0. (9.4.5) 
又 从 S 有 界 得 知 1xt| CS 是 有 界 点 列 , 因 此 它 必 有 极限 点 . 
设 主 是 |x,1 的 极限 点 , 则 存在 子 列 |x,j x Cix1(K,CK=10,1,…|) 收 敛 
于 x, 即 对 于 ke K ,有 
limx, =. 


ber 


而 5 为 闭 集 , 故 eS. 
又 因 1x,ix CS 有 界 , 故 它 也 有 极限 点 ,并 且 存 在 子 列 |x,,|x,C 
[xiwlx,(K,CK,) ,使 得 对 于 keK, 有 
i 
由 于 S 有 界 ,各 近似 线性 规划 问题 minV f(x) x 的 最 优 解 y, 存在 ,并 且 
[yi C5, 因 此 1y,1x,C5 有 界 , 从 而 必 有 极限 点 了 7e S, 故 必 存 在 子 列 |y% le (KK， 
CK,) ,使 得 对 keK,, 有 
limys = 
又 xz = + 和 L(y 一) ,ke 必 , 其 中 入 ,为 一 维 极 小 化 问题 
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umin f (xe t+ Ai(ys 一 ED)) 


的 最 优 解 , 故 对 任意 和 Ae[0,1] 及 keK, 都 有 


所 zt) =f (x t+ Ai(y 一 ED)) Sf (x + AC x)). (9.4.6) 
注意 到 /是 连续 函数 ,在 上 式 中 考虑 ke K,, 并 令 hk 一 % ,得 
J(z)<F(z+A(T-E)) ,YAs[0,1]， (9.4.7) 


从 (9.4.6) 式 ,由 Taylor 展 式 ,对 充分 小 的 A >0 及 任意 keK, 有 
f(x211) Sf (x +A(ys -x)) 
=f (x) +AV/(E) (ys -x) +o(A Ny -x ). 
根据 (9.4.5) 式 ,得 
Cr) <f (rx) ,kek, 
这 说 明 |f (x,) | 是 严格 单调 下 降 的 ,又 因 / 连 续 ,S 有 界 , 故 1f(x,)1 是 有 界 数列 ， 
所 以 它 必 有 极限 , 即 
minf (x,) =f. 
根据 /的 连续 性 ,并 考虑 keK, ,那么 有 
fF) =minf (x,) =f=minf (x4,1) =/ (2). (9.4.8) 
往 证 
Vf/(xi)'(y-x) =0. (9.4.9) 
用 反 证 法 . 若 不 然 , 假 设 了/(F)"( 了 -) 天 0, 因 注意 到 V/(x) 连 续 并 考虑 ke 
KK, ,由 (9.4.5) 式 得 
V/(x)'(y-x)<0, 
从 而 必 有 
V7(z) (7-E) <0， 
所 以 ,4 =5-z 是 点 处 的 下 降 方向 , 即 存在 8>0, 使 
f(x+Ad) <F(z) ,YAE(0,5). 
再 由 (9.4.7) 式 知 f() </(x) ,但 这 与 (9.4.8) 式 矛盾 ,所 以 (9.4.9) 式 成 立 . 
另 一 方面 ,由 yy 的 含义 知 ,对 一 切 xe5, 都 有 
Vf/(r) Ty SV/(xr) x. 
考虑 ke Kk,, 并 令 k 一 wm ,有 
V/(I)'y<V/(E) x, 
且 e5, 故 5 是 线性 规划 问题 
min Vf/(z) xi 
人 ES 
的 最 优 解 . 
根据 这 一 事实 和 (9.4.9) 式 ,应 用 定理 9.4.1 得 知 ,x 为 问题 (9.4.1) 的 K- 
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起 0 

Frank - Wolfe 算法 是 一 种 可 行 方向 法 ,在 每 次 迭代 中 ,搜索 方向 总 是 指向 某 
个 极点 ,并且 当 迭代 点 接近 最 优 解 时 ,搜索 方向 与 目标 函数 的 梯度 趋 于 正 交 , 因 
此 算法 收敛 速度 比较 慢 . 但 该 方法 把 求解 非 线性 最 优化 问题 转化 为 求解 一 系列 


线性 规划 问题 ,而 且 各 线性 规划 具有 相同 的 约束 条 件 ,因而 该 方法 在 实际 应 用 中 
仍然 是 一 种 有 用 的 算法 - 
例 9.4.1 用 Frank -Wolfe 法 求解 下 列 问题 : 
min f(x) =2xl +2x3 -2x,x, -4x, -6x,; 
St x+x, <2, 
(9.4.10) 
xi +5x, <5, 


Xi ,X20, 


要 求 取 初 始 可 行 点 x = (0,0)". 
4x, — 2x -4 
解 V/(x) =| 


4xi ~2x, -6 
第 一 次 迭代 : 
解 近 似 线性 规划 问题 
min Vf(xo) r= -4x, -6x,; 


BAD =(-4,-6)". 


St. Xl+x <2, 
Xi +5r, G5, 
1st 0, 
5 3 T 19 
得 最 优 解 yn = (二 ,于 ) . 因 YA(r) (On -xo) = - 立 关 0, 故 由 = 加 -x= 
， 
(入 ,二 为 可 行 下 降 方向 
求解 
LRC th) = BA -号 A， 
得 最 优 解 A。=1. 于 是 ,下 一 迭代 点 为 


§ 3 
tAods = 人 二, 于 
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a 家 
min Vf(r) = -Fn 


5.t. z+% E22, 
xi +5x, <5, 


xx 二 0， 


得 最 优 解 y = (0,1)". 因 VV/(x) "Gy -m) = -于 关 0, 故 由 = 几 -= 


( 寺村) 为 可 行 下 降 方向 


求解 
minr(Cx + Ad ) = 了 - 匀 ， 
得 最 优 解 = 起 . 于 是 ,下 一 迭代 点 为 
三 = +Ad = [ 莽 , 亲 
第 三 次 迭代 : 
入 10) =( -加 -者 ), 解 近似 线 性 规划 问题 
min Vf/(x) r= -Bs -< 
St. YX + <2, 
xi +5x2 <5, 
1,20, 
得 最 优 解 (不 唯一 )y， = (7,1 -了 二 
5 
0<7r< 一 |. 
( <r<4) a 


因 Vf(x,)"(y, -x，) =0, 停 止 迭 


代 , 得 x = -人 ) 为 问题 (9.4.10) 
的 K-T 点 ,也 是 最 优 解 . 0 9 


图 9. 4. 1 表示 了 其 迭代 过 程 - 图 9.4.1 Frank - Wolfe 法 迭代 进程 
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| ES 仙人 
1. 用 Zoutendijk 方法 求解 下 列 问 题 : 
min x? +4x3 -34x, -32x,; 
St 2x) +x,<6, 
x2 2, 
x ,x2 0, 
要 求 取 初 始 可 行 点 x。= (1,2)". 
2. 考虑 以 下 问题 
min x? +2x3 +xix, -6x, -2x — 12x,; 
Ss.t. xi -2x,> -3， 
x1 ,X23 > 0, 
x + + 2 
试用 梯度 投影 法 求 出 在 点 #=(1,1,0)" 处 的 一 个 可 行 下 降 方向 . 
3. 用 梯度 投影 法 求解 下 列 问 题 
min x+ 划一 6x +2x,; 
二 
x1 ,X20, 
要 求 取 初 始 可 行 点 x。= (0,1)". 
4. 用 梯度 投影 法 求解 下 列 问题 
min (1 -x)’ -10(x, -x) + -2xx +e "2, 
Ss. 2x, +5x,<25, 
-xi +2x, <8, 
tit 0. 
5. 用 Wolfe 既 约 梯度 法 求解 下 列 问题 
min 24) + 
St x + 2 
-2z +z +z =1, 
xx xy sXe 0 
要 求 取 初 始 可 行 点 x。= (1,3,4,0)"， 
6. 用 Frank - Wolfe 法 求解 下 列 问题 
min 一 xx 
[二 
x1 x2 > 0, 
要 求 取 初 始 可 行 点 x。= (2,0) 
7. 设 是 下 列 间 题 
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min f(x); 
st g(x)20,i=1,2,,m, 
| h(x)0,=1,2,.,l 
的 可 行 点 , 记 人 (z) = |i|g:(F) =0,i=1,2,…,m| ,证 明 是 K-T 点 的 充 要 条 件 是 下 列 问题 
Vf va; 
st Ve(s)'d>0,icel(F), 
Vh(x) "d=0,=1,2 
-1<d<1,j=1,2 


mi 


的 目标 函数 最 优 值 为 0 
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第 十 章 ”加 函数 法 与 广义 乘 子 法 


求解 约束 最 优化 问题 ,一 种 途径 是 在 可 行 域内 寻找 使 目标 函数 值 下 降 的 迭 
代 点 列 , 即 第 九 章 介 绍 的 各 种 可 行 方向 法 . 但 是 ,这 类 方法 对 于 带 非 线性 约束 的 
最 优化 问题 求解 效果 一 般 都 不 其 理想 . 因此 ,本 章 将 介绍 求解 约束 最 优化 问题 的 
另 一 种 途径 , 即 利用 问题 的 目标 函数 和 约束 函数 构造 新 的 目标 函数 一 一 罚 函 数 
(penalty function) ,把 约束 最 优化 问题 转化 为 相应 的 罚 函数 的 无 约束 最 优化 问题 
来 求解 . 

本 章 先 介 绍 直接 利用 约束 最 优化 问题 的 目标 函数 和 约束 函数 忌 造 罚 函 数 的 
两 种 罚 函 数 法 (penalty function method). 然后 ,研究 在 改进 罚 函 数 法 的 过 程 中 产 
生 并 发 展 起 来 的 .借助 Lagrange 乘 子 来 构造 罚 函 数 的 广义 乘 子 法 ( generlized 


multiplier method ) . 


10.1 外 罚 函 数 法 
本 章 考虑 约束 非 线 性 最 优化 问题 
min f(x); 
St. &i(r)>0,i=1,2,…,mm， (10.1.1) 


h(x) =0J=1,2，…， 
其 中 (x) ,g(x)(i=1,2,…,m) 和 有 (x)(j=1,2,…,1) 都 是 定义 在 R" 上 的 实 
值 连续 函数 . 记 问题 (10. 1. 1) 的 可 行 域 为 5. 
问题 (10. 1. 1) 的 罚 函 数 是 指 利用 目标 函数 /(x) 和 约束 函数 g,(x) 及 h(x) 
所 构造 的 .具有 "惩罚 性 质 "的 辅助 函数 


F(x) =P(f(x) ,g(x) ,h(x)). 
所 谓 “ 惩 罚 性 质 " 就 是 要 求 xe S 当 上 且 仅 当 F(x) =/(x); 而 xs5S 时 ,F(x) > 
f(x) ,并 且 F(x) -f(x) 随 着 x 到 5 的 距离 的 增 大 而 增 大 . 
例如 ,对 于 等 式 约束 问题 
I f(x); 


10.1.2 
st h(x)=0,7=1,2,.,1, ( ) 


265. 


可 定义 罚 函 数 


F(x,0) =f(x) +o > W(x), 
其 中 参数 o 是 一 很 大 的 正常 数 . 这 样 ,就 把 问题 (10. 1.2) 转 化 为 无 约束 问题 
minF, (x,0). (10.1.3) 
显然 ,问题 (10. 1.3) 的 最 优 解 必 使 得 所 有 h,(x) (1 =1,2,…,1) 都 接近 0, 否则 ， 
罚 函 数 F(x,o ) 的 第 二 项 将 是 很 大 的 正 数 ,与 最 优 解 取 到 极 小 值 了 矛盾. 因此 , 通 
过 求解 无 约束 问题 (10. 1. 3) 能 够 得 到 等 式 约束 问题 (10. 1.2) 的 近似 解 . 
对 于 不 等 式 约束 问题 
min f(x); 
[这 gi(x)>0,i=1,2,.…,m, 
辅助 函数 的 形式 与 等 式 约束 情形 不 同 , 我 们 定义 罚 函数 
F(x,0) =f/(x)+o 六 [max|0, -g(x)}]’, 
其 中 参数 o 是 很 大 的 正 数 . 这 样 ,可 将 问题 (10. 1.4) 转 化 为 无 约束 问题 
minF, (x,0). (10.1.5) 
同 理 ,问题 (10.1.5) 的 最 优 解 也 必 使 得 所 有 g,(x) (i=1,2,…,m) 大 于 0 或 接近 
0. 因此 ,通过 求解 问题 (10. 1. 5) 可 求 得 不 等 式 约束 问题 (10. 1.4) 的 近似 解 . 


我 们 把 上 述 思想 加 以 推广 ,对 于 一 般 的 约束 最 优化 问题 (10.1.1), 可 定义 
罚 函 数 


(10.1.4) 


F(x,o) =f/(x) +oP(x), 
其 中 参数 o 是 很 大 的 正 数 ,P(x) 具 有 下 列 形式 : 


1 
P(x)= 辫 ep[gi(z)] + > ylh(x)], 
9 和 少 是 满足 下 列 条 件 的 实 值 连续 函数 : 
ep(7) =0, 当 y>0 时 ， 
{oo >0, 当 y<0 时 ; 
dn 
(Y) >0, 当 yz0 时 . 
函数 p 和 的 典型 取 法 为 
9(7) =[max{0, -7 站] ， 
yy7) = | 7 ， 
其 中 wa>1 和 有 B>1 是 给 定 的 常数 ,通常 取 作 1 或 2. 
这 样 ,可 将 约束 问题 (10. 1. 1) 转 化 为 无 约束 问题 
minF(x,0) =f(x) +oP(x), (10.1.6) 
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其 中 e 是 很 大 的 正 数 ,P(x) 是 连续 函数 . 

由 罚 函 数 F(x,o) 的 定义 可 知 ,目标 函数 附加 的 权 项 oP(x) 反 映 了 对 落 在 
可 行 域外 ( 即 不 满足 约束 条 件 ) 的 点 x 的 一 种 惩罚 ,其 作用 是 在 极 小 化 过 程 中 迫 
使 迭代 点 靠近 可 行 域 . 显然 ,问题 (10. 1.6) 的 最 优 解 也 必 使 得 所 有 g,(x) (i=1， 
2,…,m) 大 于 0 或 接近 0, 而 所 有 h(x) (j=1,2,…,!) 都 接近 0. 因此 ,求解 问题 
(10. 1.6) 能 够 得 到 一 般 约束 问题 (10.1. 1) 的 近似 解 ,而 且 o 越 大 ,近似 程度 越 
好 . 通常 将 oP(x) 称 为 罚 项 ,参数 o 称 为 罚 因 子 ( penalty factor). 

例 10.1.1 试 说 明 罚 函数 对 求解 下 面 的 约束 问题 所 起 的 作用 : 


min x? +X; 
[1 
wa 1 
解 ”首先 定义 罚 函 数 
F(x,0) =x: +x? +o(x, 一 1)7. 
通过 求解 无 约束 问题 
minF(x,0) = +m +o(x, 1) ， (10.1.8) 


可 求 得 约束 问题 (10. 1.7) 的 近似 解 ,我 们 用 解析 方法 解 问题 (10.1.8). 根据 罚 
函数 F(x,o ) 的 定义 可 知 ,使 得 F(x,o) 有 极 小 值 的 必要 条 件 为 

3E 2%, =0, 

dx 

站 -2 +20(x, -1) =0. 


得 到 问题 (10. 1.8) 的 最 优 解 #。= (24”,#;”) ,其 中 


424" =0,43" = > 
从 表 10.1.1 中 可 以 看 出 , 当 参 数 o 从 0 增加 到 m 时,#, 从 无 约束 解 向 约 东 解 变 
化 . 0 
表 10.1.1 e 值 对 应 的 解 
bb 
o 0 L | 2 | 5 10 ow 
Ee | 0 | os | oo | os3 0.91 1 


从 图 10. 1. 1 中 我 们 还 发 现 , 随 着 o 值 的 不 断 增 大 ,无 约束 问题 (10.1.8) 的 
最 优 解 8。 在 约束 问题 (10. 1.7) 的 可 行 域 | (x, ,x,)" |x, =11 的 外 部 以 高 度 非 线 
性 方式 向 可 行 域 边界 靠拢 ;并 且 o 越 大 ,ft。 越 靠 近 问 题 (10.1.7) 的 最 优 解 = 
(0,1)", 当 go 一 wm 时 ,##, 一 .那么 ,是 否 任 何 一 个 约束 问题 与 其 对 应 的 无 约束 问 
题 之 间 都 存在 这 种 联系 呢 ? 下 面 的 定理 给 予 了 肯定 回答 . 
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图 10.1.1 例 10.1.1 解 的 迭代 进程 


定理 10.1.1 设 对 于 某 个 给 定 的 e > 0, 无 约束 问题 (10. 1.6) 的 最 优 解 为 
fu ,S 为 约束 问题 (10. 1. 1 ) 的 可 行 域 , 那 么 
(1) 若 fo eS, 则 f。 必 为 约束 问题 (10. 1. 1) 的 最 优 解 ; 
(2) 对 于 任何 w, >o ,无 约束 问题 
minF(x ,0 ). (10.1.9) 
存在 最 优 解 &。 ,并 且 若 #。e S, 则 ,eS, 即 #,, 也 为 问题 (10.1.1) 的 最 优 解 . 
证 明 (1) 由 别 函数 R(x,o) 的 定义 ,有 
F(x,o) =/(x),VxresS, 
又 注意 到 8。e 5, 所 以 对 一 切 xe 5, 总 有 
f (8,) =F(R,,0) =minF(x,9) F(x,0) =f(x), 
即 2, 为 问题 (10. 1. 1) 的 最 优 解 . 
(2) 先 证 :对 任何 w, > o, 问 题 (10.1.9) 存 在 最 优 解 . 因为 &。 为 问题 
(10.1.6) 的 最 优 解 且 o, >o, 所 以 
F(f,,0)<F(x,o)<F(x,0,), VxreR", 
即 F(x,0,) 在 %" 上 有 下 界 F(。,o) ,这 表明 问题 (10. 1.9) 存 在 最 优 解 . 
再 用 反 证 法 证 明 : 当 2,e 5 时 , 同 题 (10.1.9) 的 最 优 解 £,, e 5. 若 不 然 ,tw 
5, 则 P(%,,) >0, 从 而 由 问题 (10. 1.6) 的 最 优 解 4。 eS 和 o>o 知 ， 
f(£,)=F(f,,0)<F(£, ,0) =f(£,) +oP(£,,) 
<J (zw ) +oP(£,)=F(f,, ,0.). (10.1. 10) 
另 一 方面 ,由 ,为 问题 (10. 1.9) 的 最 优 解 及 #。e5 知 ， 
F(£,,,01) SF(£,,01) =/(£,) t+oP(£,) =f(#,), 
此 与 (10. 1. 10) 式 矛盾 . 因此 名 , e 5, 从 而 由 (1) 知 , 为 问题 (10. 1. 1) 的 最 优 解 。 口 
这 个 定理 说 明 , 只 要 求 出 无 约束 问题 (10. 1. 6) 的 最 优 解 &。, 且 #。e 5, 就 相 
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当 于 求 出 了 原 约束 问题 (10. 1. 1 ) 的 最 优 解 . 若 ££ eS, 此 时 应 增 大 罚 因 子 o 的 
值 , 再 重复 上 面 的 讨论 . 
在 实际 计算 中 ,为 了 利用 数值 解法 ,问题 (10.1.6) 中 c 的 值 必须 取 定 上 且 适 
中 . 若 r 太 小 , 则 无 约束 问题 的 最 优 解 可 能 远离 约束 问题 的 最 优 解 ,计算 效率 
低 ; 车 o 过 大 , 则 人 为 地 给 无 约束 问题 的 求解 增加 了 计算 上 的 困难 . 因此 ,一 般 
的 策略 是 取 定 数列 |o,| 满 足 
Oxo,<o,<* <o,< ,limg, 二 
并 求解 无 约束 问题 
minF (x,0). 
若 对 应 于 ou 的 罚 函 数 的 最 优 解 fw, #6 5, 并 简 记 主 ,, 为 x,, 则 可 以 证 明 :x, 与 
可 行 域 5 的 距离 将 随 着 的 增 大 而 减 小 ,并 且 序 列 |x,| 收敛 于 约束 问题 的 最 优 
解 ( 见 定理 10. 1.3). 这 种 通过 求解 一 系列 无 约束 问题 来 获得 约束 问题 最 优 解 的 
方法 统称 为 序列 无 约束 极 小 化 方法 (sequential unconstrained minimization 
technique) ,简称 SUMT 法 . 
显然 ,上 述 罚 函数 的 最 优 解 序列 |x,| 是 从 可 行 域 5 的 外 部 到 近 约 束 问题 
(10.1.1) 的 最 优 解 的 . 因此 ,上 述 利 用 罚 函数 生成 一 系列 外 点 允 近 该 约束 问题 
最 优 解 的 方法 称 为 外 罚 函 数 法 (exterior penalty function method ) 或 SUMT 外 
点 法 . 
算法 10 -1( 外 罚 函数 法 ) 
Step 1 选取 初始 数据 . 给 定 初始 点 ro ,初始 罚 因 子 o, >0, 放 大 系数 a > 1 ， 
允许 误差 e >0, 令 k=1. 
Step 2 求解 无 约束 问题 . 以 x 为 初始 点 ,求解 无 约束 问题 
minF(x,0) =/(x) + oP(x), (10.1.11) 
设 其 最 优 解 为 zu- 
Step 3 ”检查 是 否 满足 终止 准则 . 车 oiP(x) < e, 则 迭代 终止 ,zt 为 约束 问 
题 (10. 1. 1) 的 近似 最 优 解 ;否则 , 令 ri =ac,,k:=k+1, 返 回 Step 2. 
例 10.1.2 用 外 罚 函 数 法 求解 约束 最 优化 问题 
Wp 
人 VD) atom; (10.1.12) 
st. xi+x2 =1, 
其 中 x = (x ,x,)" ,要 求 选取 og =0.05,a =2,s =10-. 
解 引入 罚 函数 
| 


F(x,0i) =- (3 + tax +x, -1)’, 
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则 问题 (10. 1. 12) 相 应 的 一 系列 无 约束 最 优化 问题 为 
minF (x,01). 
其 中 ol =0.05,0;, =204,k=1,2,…. 
用 解析 方法 求解 上 述 无 约束 问题 , 令 


VF(x,o.) =0， 


可 得 最 优 解 
20 60 
We 
Se Pe 
同时 ,有 
Ok 
P(x1) =—— 
oP(x) ETT 


依次 对 k=1,2,…, 用 上 述 公 式 计算 x 和 oP(x,) ,结果 如 表 10. 1. 2 所 示 . 


表 10.1.2 x 与 0,P(x,) 的 关系 
大 2 oP(x,) 大 EA oP(x,) 


1 | (0.0714,0.2142)" | 2.551 x10™ 9 | (0.247 5,0.7427)7 |1.197x10… 
2 (0.111 1,0.333 3)7 | 3.086 x10™ 10 | (0.2487,0.746 3)7 |6.042x10™ 
3 | (0.153 8,0.4615)7 | 2.958 x10™ 11 | (0.249 3,0.748 1)” |3.036 x10™ 


5 


4 (0. 190 4,0.5714)7 | 2.267 x10- (0.249 6,0.749 0)7 | 1.522 x10… 


5 


5 | (0.216 2,0.648 6)7 | 1.461x10- (0.249 8,0.749 4)7 |7.619 x10°’ 


6 (0.231 3,0.695 6)7 | 8.400x10 14 (0.249 9,0.7497)7 |3.812x10° 


5 


7 (0.240 6,0.7218)7 | 4.522 x10- (0.249 9,0.749 8)7 | 1.907 x10™ 


(0.245 2,0.7356)7 | 


4.305x10 (0.249 9,0.749 9)7 | 9.536 x10 


由 和 迭代 终止 条 件 


oP(x) 0 


i 

(1 +80.)” * 

可 得 约束 问题 (10. 1. 12) 的 近似 最 优 解 (保留 4 位 有 效 数字 ) 
xie =(0.249 9,0.749 9)". 

并 可 注意 到 每 一 迄 代 点 x = (x1”,x2”)” 满足 


WD Bo 
zl 二 2X2 = 
1+80o, 


这 说 明 , 和 迭代 点 列 1x,1 是 从 约束 问题 (10. 1. 12 ) 的 可 行 域 的 外 部 趋向 位 于 边界 
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上 的 最 优 解 x = (0. 25,0.75) 0 
为 了 讨论 外 罚 函数 法 的 收敛 性 ,我 们 首先 证 明 下 面 的 引 理 . 
引 理 10.1.2 设 0<o,<o, ,x 和 xs 分别 是 取 罚 因子 ck 及 os 时 的 无 
约束 问题 (10. 1. 11 ) 的 最 优 解 , 则 下 列 各 式 成 立 : 
(1) FCxeoe) PCxiyeei)i; 
(2) P(x.) P(x.); 
(3) f (x) Sf (x ). 
证 明 (1) 因为 x, 是 问题 (10.1.11) 取 罚 因子 wx 时 的 最 优 解 ,所 以 
F(xis0r) F(x so) =f xi,) +oP(x,,) 
(i) 和 ( 轴 和 CE。 
(2) 由 于 xx 和 xz, 分 别 是 问题 (10. 1.6) 取 罚 因 子 go 和 ck, 时 的 最 优 解 ， 
因此 有 
fx2) +atP(r) sz) +otP(x si)， (10.1.13) 
Cr) tormP(xen) sfx) +atriP(zt). 
将 上 面 两 式 的 两 端 分 别 相 加 ,经 整理 后 可 得 
(ou -oi) [P(x) -P(zi)]z0， 
又 oil -our>0, 所 以 得 到 Pre) 二 Pr ). 
(3) 利用 (10. 1.13) 式 和 结论 (2) ,显然 结论 成 立 . 0 
由 上 述 引 理 可 知 , 如 果 迭 代 不 终止 ,那么 HA(Czs)1 和 1F(xi,oe) | 为 单调 递增 
数列 ,| P(x) | 为 单调 递减 数列 . 
下 面 给 出 外 罚 函 数 法 的 收敛 性 定理 . 
定理 10. 1.3 设 约束 最 优化 问题 (10.1. 1) 存 在 最 优 解 ,其 中 /(x),g, (x) 
(i=1,2,…,m) 和 h(x)(j=1,2,…,l) 是 R" 上 的 实 值 连续 函数 . 又 设 io,| 是 趋 
向 无 穷 大 的 严格 单调 递增 正 数列 , 且 k=1 时 ,无 约束 问题 (10. 1. 11) 存 在 最 优 解 
x， 那么 
(1) 对 每 个 ,无 约束 问题 (10. 1. 11) 都 存在 最 优 解 ; 
(2) 若 对 某 个 上 有 xi e 5, 则 x 为 问题 (10.1. 1) 的 最 优 解 ; 
(3) 车 情形 (2) 总 不 发 生 , 则 得 到 点 列 1x,1 ,其 任意 极限 点 都 是 问题 
(10.1.1) 的 最 优 解 . 
证 明 (1) 和 (2) 已 由 定理 10.1. 1 得 证 . 
(3) 由 所 给 条 件 , 设 ”为 问题 (10. 1. 1) 的 最 优 解 ,x 为 1x| 的 一 个 极限 点 ， 
不 妨 就 设 limxe =, 则 由 x"e5 有 
fx) Sf (Ki) +oP(x) = F(x,,0,) 
< Fr ,ob =f (x ). 
又 (x) 为 连续 函数 , 令 k 一 % ,可 得 
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f(x)<f(x" ). (10.1.14) 
下 面 证 明 X € 5. 


由 引 理 10.1.2 知 ,1F(xi,04)} 及 if (x,)1 都 是 单调 递增 数列 ,又 由 上 面 的 
证 明 有 
F(Xs,0s) Sf (x ) ,k=1,2,° 
f(x) Sf x) ,k=1,2,., 
故 知 1 F(xi,0)1 及 1f(x,) 1 都 是 单调 递增 且 有 上 界 的 数列 ,因此 limF(x, ,0,) 
及 lim /(z,) 都 存在 . 
由 于 


Pr ) 2 000) -Cr -12 


CN 
令 鳃 = ,两 端 同时 取 极 限 , 则 根据 jimos = % 可 得 
limP(x,) =0. 
再 由 g,(x) 和 h(x) 的 连续 性 ,有 
P(x) =limP(x,) =0， 
因此 , 按 罚 函数 的 定义 可 知 Xe 5. 
又 x" 为 问题 (10.1.1) 的 最 优 解 , 故 由 ze5S 有 
f(x )</ (i). (10.1.15) 
综合 (10.1.14) 式 和 (10.1.15) 式 , 即 知 
f(x)=/(x" ), 
这 说 明 # 是 问题 (10. 1. 1) 的 最 优 解 . 0 
由 上 述 定 理 的 证 明 过 程 ,我 们 还 可 得 到 一 个 重要 结论 : 
limoP(x,) =0. 
事实 上 ,由 /(x,) <F(x,,0,) 可 推 得 
lim/ (x) <limF(xi,0); 
另 一 方面 ,由 于 /(x) 连 续 , 因 此 
limf(x1) =/ (limxs) =/ (2) =/ (x°). 
从 而 ,由 F(xi,04) </(x* ) 推 得 
limF xi,01) <lim/ Cx). 
于 是 
limF(x,,0:) = lim/(x.). 
所 以 
limoiP(x) = lim[ F(xi,0) -f(x)] =0. 
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这 就 是 取 oP(x) < e 作为 迭代 终止 准则 的 原因 . 


10.2 内 罚 函 数 法 


在 外 罚 函 数 法 中 , |x,| 是 从 可 行 域 5 的 外 部 逼近 最 优 解 z 的 . 当 我 们 在 某 个 
充分 大 的 ok 处 终止 迄 代 时 ,近似 最 优 解 一 般 只 近似 地 满足 约束 条 件 ,对 于 某 
些 实际 问题 ,这样 的 解 是 不 能 被 接受 的 . 为 了 使 迁 代 点 总 是 可 行 的 ,可 以 采用 本 
节 将 要 介绍 的 内 罚 函 数 法 (intemal penalty function method ) . 

内 罚 函 数 法 在 迭代 中 总 是 从 可 行 点 出 发 ,并 保持 在 可 行 域内 部 进行 搜索 . 因 
此 ,这 种 方法 适用 于 只 有 不 等 式 约束 的 最 优化 问题 (10. 1. 4). 

对 于 不 等 式 约束 问题 (10. 1. 4) ,其 可 行 域 5 的 内 部 

intS = |xeR’|g,(x) >0,i=1,2,.…,m|. 
为 了 保持 迭代 点 始终 含 于 intS ,我 们 引入 另 一 种 罚 函 数 
G(x,r) =f(x) +rB(r) ， 
其 中 参数 " 是 很 小 的 正 数 ,B(x) 是 ints 上 的 非 负 实 值 连续 函数 , 当 点 x 趋向 可 
行 域 $ 的 边界 时 ,B(x) 一 %. 

显然 , 罚 函 数 C(x,r) 的 作用 是 对 企图 脱离 可 行 域 的 点 给 予 惩罚 ,相当 于 在 
可 行 域 的 边界 设置 了 障碍 ,不 让 迁 代 点 穿越 到 可 行 域 之 外 ,因此 也 称 为 障碍 函数 
(barrier function ) . 

两 种 常用 的 形式 为 


6) s/f) tr By: 


G(x,r) =f(x) -r 5 lng,(x) ， 
分 别称 为 倒数 障碍 函数 和 对 数 障碍 函数 . 
根据 G(x,r) 的 定义 可 知 ,r 取 值 越 小 ,问题 
人 Ce =J(r) +rB(x); (10.2.1) 
s.t. xeintS 
的 最 优 解 越 接近 问题 (10. 1.4) 的 最 优 解 . 但 是 ,这 里 存在 与 外 罚 函 数 法 类 似 的 
问题 , 即 如 果 r 太 小 , 则 会 给 问题 (10. 2. 1) 的 求解 带 来 很 大 困难 . 因此 ,我 们 仍 利 
用 序列 无 约束 极 小 化 方法 (SUMT) , 取 一 个 严格 单调 递减 趋 于 0 的 正 数列 | 7,1 ， 
对 每 个 上 ,从 可 行 域 的 内 部 intS 出 发 ,求解 问题 
{™ G(X,r) =f (x) +rB(x); (10.2.2) 
s.t. xeintS. 
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若 问题 (10. 1.4) 的 最 优 解 含 于 intS, 则 当 r 取 到 一 适当 的 值 时 ,问题 (10.2.2) 
的 最 优 解 可 以 达到 它 ; 若 问 题 (10. 1.4) 的 最 优 解 落 在 $ 的 边界 上 , 则 随 着 7 的 
减 小 ,问题 (10.2.2) 的 最 优 解 点 列 将 向 5 边界 上 的 该 最 优 解 允 近 . 这 种 利用 罚 
函数 生成 一 系列 内 点 允 近 原 约束 问题 最 优 解 的 方法 称 为 内 罚 函 数 法 或 SUMT 内 
点 法 . 

算法 10 -2( 内 罚 函 数 法 ) 

Step 1 选取 初始 数据 . 给 定 初始 内 点 x。e intS ,初始 参数 m >0, 缩 小 系数 B 
e (0,1) ,人 允许 误差 。>0, 令 k=1. 

Step 2 ”求解 无 约束 问题 . 以 x 为 初始 点 ,求解 无 约束 问题 (10. 2.2) , 设 其 
最 优 解 为 x, 

Step 3 ”检查 是 否 满足 终止 准则 . 若 78(x) <e, 则 和 迭代 终止 ,xz 为 约束 问 
题 (10.1.4) 的 近似 最 优 解 ;否则 , 令 mr, =Bri,k:=k+1, 返 回 Step 2. 

在 上 述 内 罚 函 数 法 中 ,问题 (10.2.2) 实际 上 仍 是 约束 问题 , 且 约 束 条 件 看 
上 去 比 问题 (10. 1.4) 的 约束 条 件 更 复杂 . 但 是 ,只 要 初始 迭代 点 从 可 行 域 的 内 
部 选取 ,B(x) 的 障碍 作用 会 自动 实现 ,保证 问题 (10.2.2) 的 最 优 解 仍 会 含 于 
intS. 因此 ,从 计算 的 角度 来 看 ,问题 (10. 2.2) 可 当做 无 约束 问题 来 处 理 , 仅 有 的 
差别 是 在 求 极 小 过 程 中 进行 一 维 搜索 时 要 适当 控制 步 长 ,以 免 迭代 点 脱离 可 行 
域 而 导致 迭代 提前 结束 . 

例 10.2.1 利用 对 数 障碍 函数 求解 不 等 式 约束 问题 
min f(x) =x, +2x,; 


st. -x +x,>0, (10.2.3) 


要 求 选取 =4,B = 并 
解 、 引 和信 对 数 障碍 函数 


G(zm) =(x +2x3) -ri[ ln( x? +x2) +lnxi]， 


我 们 用 解析 方法 求解 问题 


(10.2.4) 


ac _ 2xim _r 
Ox -+ 
aC -2 一生 
Fr 
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解 得 x = (x1” ,x2 ) ,其 中 


ty = 埋 ( -1+ Wi6r +1) ,xz = 直人 -1+ VI6r, +1)° + 
依次 对 k=1,2,… 用 上 述 公 式 计算 ,结果 如 表 10.2. 1 所 示 . 


表 10.2.1 r 值 对 应 的 解 


人 | x, | k | 国 x 

1 4 | (0. 885 ,2.781) 7 7 0.063 (0.057.0.035) 7 
2 2 (0.593 ,1.350) 8 | 0.032 (0.029 ,0.017)" 
3 1 (0. 391 ,0. 653) 9 | 0.016 (0.016,0. 008)" 
4 0.5 (0. 375 ,0.390)7 (0. 008 ,0. 004) 7 
5 0.25 (0. 155,0.149)7 | (0. 003 ,0. 002)" 


(0. 090 ,0.071)" (0. 002 ,0. 001)" 


表 中 每 一 个 值 都 对 应 int S 中 的 一 
个 可 行内 点 ,如 图 10. 2. 1 所 示 , 其 中 /= 
xz, +2x。， 从 图 10.2.1 中 可 以 看 出 , 当 
一 wm 即 ,一 0 时 ,无 约束 问题 (10.2.4) 
的 最 优 解 点 列 1x,| 从 约束 问题 
(10. 2.3) 的 可 行 域内 部 
intS= | (xxz) | -x +x >0,x, >0|， 
向 可 行 域 边界 上 的 最 优 解 x= (0,0) 7 通 
近 . 0 

内 罚 函 数 法 的 收敛 性 由 下 面 的 定 图 10.2.1 例 10.2.1 解 的 选 代 进程 
理 保证 . 

定理 10.2.1 设 不 等 式 约束 问题 (10.1.4) 的 可 行 域内 部 intS 非 空 且 存 在 
最 优 解 ,其 中 /(x) 和 g(x)(i=1,2,…,m) 是 R" 上 的 实 值 连续 函数 . 又 设 |r,1 是 
严格 单调 递减 趋 于 0 的 正 数列 , 且 对 每 个 ,无 约束 问题 (10.2.2) 存 在 最 优 解 
zi, 则 点 列 1xi| 的 任意 极限 点 都 是 问题 (10. 1.4) 的 最 优 解 . 

证 明 ” 先 证 {G(xi,ri)| 是 单调 递减 且 有 下 界 的 数列 . 设 x ”为 问题 
(10. 1.4) 的 最 优 解 ,由 于 x, e int 5S, 则 

GKirioTin) ECFisTin) =f xe) tr B(x,) 
Sf (Xi) +rnB(x) = G(x, ,7), 
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且 
Gxisr) =f x) +rB(x) >f (x) =/(x" ), 
即 1G(x,,r,) 1 单调 递减 且 有 下 界 . 因此 存在 极限 ( 记 为 Co) 且 G6。=f(x" ). 下 面 
证 明 Co =f (x"). 
用 反 证 法 ,假若 6。>f(x" ) , 则 必 存 在 e >0, 使 得 
Go>f (x ) +2e. (10.2.5) 
由 f(x) 的 连续 性 可 知 , 存 在 可 行 点 #e 5, 使 
f(£) <f/(x')+e. 
因为 
G(xisri) SG(E,T) =f(£) +mB(82) <f(x*) +e+rB(t), 
又 当 上 充分 大 时 ,总 有 7.B(%) <e, 于 是 有 
limG(xi,n) </ (x ) +e+ey 
即 
G,</(x') +2e， 
此 与 (10. 2. 5 ) 式 矛盾 . 
然后 我 们 证 明 |x,| 的 任意 极限 点 都 是 问题 (10. 1.4) 的 最 优 解 . 
不 妨 设 limx， = 元 由 于 x eintS, 因 此 有 
BK) >0 (i=1,2,.…,m), 
根据 g,(x) 的 连续 性 可 知 ， 
Bi(¥)>0 (i=1,2,.…,m), 
即 e SS. 因此/() f(x* ). 
下 证 /(x) =/(x" ). 若 不 然 , 则 f(z) >f(x" ) 且 
lim[/(x) -f(x )]=/(1) -f(x ) >0， 
又 
G(s72) f(x) =f x) -f(x ) +nB(x) f(x) -f(x ), 
故 
lim[ C(x,7) -f(x° )] #0, 
即 6。 关 f(x" ) ,此 与 上 面 证 明 的 6。=f(x" ) 矛 盾 . 故 /(x) =f(x" ), 即 是 问题 
(10. 1.4) 的 最 优 解 . 0 
在 内 罚 函 数 法 中 必须 先知 道 一 个 初始 内 点 x。e intS. 在 实际 问题 中 ,如 果 初 
始 内 点 不 能 赁 直观 找 出 时 , 则 必须 给 出 一 种 求 初始 内 点 的 算法 . 下 面 介绍 一 个 寻 
找 初 始 内 点 的 迭代 算法 , 它 是 基于 内 罚 函数 法 的 思想 而 得 到 的 . 
算法 10 -3( 求 内 罚 函 数 法 中 初始 内 点 的 算法 ) 
Step 1 选取 初始 数据 . 给 定 初始 点 zo ,初始 参数 r, >0, 缩 小 系数 Be (0， 
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1) , 令 k=0. 
Step 2 ”确定 指标 集 . 令 
T={ilg(x) <0,i=1,2,.…,m|, 
Ji= {ilg(x) >0,i=1,2,.,m}. 
Step 3 ”检验 是 否 满足 终止 准则 . 若 记 = 多, 则 xsintS, 迭 代 终止 ;否则 , 转 
Step 4. 
Step 4 求解 无 约束 问题 . 以 x， 为 初始 点 , 求 无 约束 问题 minH,,, (x) 的 最 优 
解 x,,, ,其 中 
Hn) = Be) tn ye 
Si=|x|g(x) >0,ieJ,}. 
令 ma =Bri,,,k:=k+1, 返 回 Step 2. 
不 难看 出 ,在 算法 10 -3 中 ,对 于 k=0,1,2,…, 有 
Fy FS OE A 
并 且 还 有 
定理 10.2.2 假设 在 算法 10 -3 中 ,intS 关 名 ,|7,| 为 严格 单调 递 碱 趋 于 0 
的 正 数列 ,并且 问题 min 及 (x) 的 最 优 解 为 x,, 则 该 算法 必 在 有 限 步 结束 . 
证 明 反 证 法 . 若 不 然 , 则 由 
1 ,2 ,ml 21 D122 2, 2. 
可 知 , 必 存在 避 =0, 使 得 
T= = = 
取 定 yoe intS, 则 当 k>k, 时 ,有 


1 1 
7 tn Fm 7 00) tn ED 
(10.2.6) 
其 中 J=11,2,…,m| .由 于 limr, =0,1 天 人 ,yosintS, 因 此 存在 已 > 后 ,使 得 
1 
- 2 Bi(yo) +r,, 各 ty <0. (10.2.7) 
由 后 >h 可 知 了 =7, 从 而 由 (10.2.6) 和 (10.2. in 
一 Bi(xi,) MW pe 


另 一 方面 ,由 /和 J 的 定义 显然 有 
-tm — 0, 


7 Bix) 
此 为 矛盾 . 0 
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在 本 节 的 开始 我 们 曾 指 出 ,内 罚 函 数 法 只 能 求解 不 等 式 约束 问题 . 为 了 利用 

这 个 算法 去 求解 一 般 的 约束 非 线 性 最 优化 问题 ,可 以 把 外 罚 函数 法 和 内 罚 函 数 
法 结合 起 来 ,形成 所 谓 的 混合 罚 函 数 法 ,其 适用 范围 更 广 (参见 文献 [19,20] ). 

上 面 介绍 的 外 罚 函数 法 和 内 罚 函 数 法 均 采 用 序列 无 约束 极 小 化 技巧 ,结构 
简单 ,使 用 方便 ,并 能 求解 导数 不 存在 的 问题 ,因此 得 到 了 广泛 的 应 用 . 但 由 于 要 
求解 一 系列 无 约束 问题 ,工作 量 必然 增 大 , 且 随 着 罚 因子 趋向 其 极限 , 罚 函数 的 
Hesse 矩阵 的 条 件数 无 限 增 大 , 变 得 越 来 越 病态 ,这 给 无 约束 极 小 化 的 数值 计算 
带 来 了 很 大 的 困难 ,甚至 由 于 舍 和 误差 的 影响 ,使 求 得 的 x 失真. 


10.3 广义 乘 子 法 


为 了 利用 外 罚 函 数 法 的 思想 并 克服 它 的 缺点 ,本 节 考 虑 把 罚 函 数 与 
Lagrange 函数 结合 起 来 ,构造 出 更 合适 的 新 目标 函数 ,使 得 在 罚 因 子 o 适当 大 的 
情况 下 ,借助 于 Lagrange 乘 子 就 能 逐步 达到 原 约束 问题 的 最 优 解 . 由 于 这 种 方法 
要 借助 于 Lagrange 乘 子 的 迭代 进行 求解 而 又 区 别 于 经 典 的 Lagrange 乘 子 法 , 故 
称 为 广义 乘 子 法 . 


10.3.1 等 式 约束 下 的 广义 乘 子 法 


现在 我 们 考虑 只 带 等 式 约束 的 最 优化 问题 (10.1.2). 不 难 知 道 , 问 题 
(10. 1.2) 等 价 于 问题 


n [f(x) + So 
st h(x) = 0 = 1,2，… 
其 中 r >0. 该 问题 的 Lagrange 函数 


， 
Cr = yz) + FT N(x) - 


入 六 


(10.3.1) 


六 


Soh (x), 


由 于 L(x,0,v) 中 既 有 罚 项 针 > 局 (x) ,又 有 乘 子 项 - > wh(x), 故 称 为 乘 


子 罚 函数 ( multiplier penalty function ) . 
与 外 罚 函 数 类 似 ,车 设 1o| 为 单调 递增 的 正 数列 , 则 我 们 可 以 把 求解 等 式 
约束 问题 (10. 1. 3) 轩 化 为 党 解 一 系列 的 于 约束 问题 


minL(x,oi,0) =/(x) + - Dh), (10.3.2) 
eR a 


其 中 四 = (v4 ,v9 ,… ,v9)" 是 第 上 次 迄 代 中 采用 的 Lagrange 乘 子 ,并 且 有 
定理 10.3.1 设 x, 是 无 约束 问题 (10.3.2) 的 最 优 解 , 则 x 也 是 问题 
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人 f(x); i033 


St h(x) =h(x) ,=1,2,.,L 
的 最 优 解 . 
证 明 ”由 于 x 是 问题 (10.3.2) 的 最 优 解 ,因此 对 于 任意 xeR" ,都 有 


L(xisoisV) SL(x,0,,V,), 


即 
， 
fx) + FRE) - Dh(n) 
<f (x) + 全 Fx) voh (x), 
各 后 
也 即 
fx) -Am < [x) -用 (x)] - 
， 
5 vw h(x) h(x) ]. 
当 x 满足 约束 条 件 


h(x) =h (x) ,=1,2,.,1 
时 ,f (x) </(x). 因此 ,x, 也 是 问题 (10.3.3) 的 最 优 解 . 0 
由 定理 10. 3. 1 可 知 ,经 过 适当 调整 0, 与 ww , 当 
h(x2) =0,=1,2,.,1 
成 立时 ,x 即 为 等 式 约束 问题 (10.1.2) 的 最 优 解 . 因此 ,在 下 面 叙述 的 算法 步骤 
中 ,我 们 将 把 x 是 否 近似 地 满足 问题 (10. 1.2) 的 约束 条 件 , 即 
h(x)l <e 
作为 终止 准则 ,这 里 a >0 是 预先 给 定 的 允许 误差 ,向 量 函 数 h(x) = (h(x)， 
ha (x) ,ee h(x) ) 
现在 ,算法 的 困难 就 在 于 o, 与 v 的 选取 . 
如 果 f(x) 和 有 (x) (j=1,2,…,!) 均 具有 一 阶 连续 偏 导数 ,那么 
VLxso0) = Vf(x) - > Lv? -oh(x)]V h(x). 


i 


当 给 定 了 充分 大 的 o,, 并 且 在 v 已 知 的 情况 下 求 得 无 约束 问题 (10.3.2) 的 最 
优 解 re 时 , 必 有 


' 
VLxisow) = V(x) > Lv -oh (x)]V h(x,) =0. 
因此 ,为 了 使 w 逼近 问题 (10. 1.2) 的 Lagrange 乘 子 ,可 采用 乘 子 迭代 


ED = Cr) =1.2， 
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来 修正 w ,在 下 一 次 迭代 中 便 求 问题 


minL(x,0,v,1) 
sxe" 


的 最 优 解 zx, 这 样 操作 下 去 ,直到 uw 收敛 , 即 直到 
h(x) ll <e 
为 止 . 如 果 (x) 不 收 伍 到 0 或 者 收敛 太 慢 ,就 增 大 o, 的 值 ,再 进行 迭代 . 收敛 
lh(x) 
快慢 一 般 用 于 Cx) | Re) I 来 衡量 . 
综 上 所 述 ,下 面 给 出 等 式 约束 下 的 广义 乘 子 法 的 迭代 步骤 . 
算法 10 -4( 等 式 约束 下 的 广义 乘 子 法 ) 
Step 1 选取 初始 数据 . 给 定 初始 点 ro, 初始 乘 子 v ,初始 罚 因子 w, >0, 放 
大 系数 a > 1 ,人 允许 误差 a >0, 参 数 ye (0,1) , 令 k=1. 
Step 2 ”求解 无 约束 问题 . 以 x -为 初始 点 ,求解 无 约束 问题 (10. 3.2) , 设 其 
最 优 解 为 x,. 
Step 3 ”检查 是 否 满足 终止 准则 . 若 
h(x) | <e， 
则 迭代 终止 ,x, 为 等 式 约束 问题 (10. 1.2) 的 近似 最 优 解 ;否则 , 转 Step 4. 
Step 4 判断 收敛 快慢 . 若 
h(x) | 
aC NY? 
则 令 cu, =aok, 转 Step 5; 否 则 , 令 oo,,1:=o04, 转 Step 5; 
Step 5 ”进行 乘 子 迭代 . 令 
oD = (本 =)2， 
及 k=k+1, 返 回 Step 2. 
例 10. 3.1 用 等 式 约束 下 的 广义 乘 子 法 求解 问题 
min f(x) = + 
Bb 
要 求 选取 初始 乘 子 v, =0, 初 始 罚 因子 rc, =0. 1 ,a =2. 
解 ”构造 乘 子 罚 函 数 


| 1 bd 
本 + 6 + +x2 —1)* -v(x +x —1), 


其 中 gi, =204,k=1,2,…. 
令 VL(x,oi,v) =0, 用 解析 方法 可 求 得 


minL(x ,0 ,v) 
ea 


LIeyat) = 


的 最 优 解 
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oto 3(0,+0)) 
le 人 i 
按 算法 10 -4 的 Step 5 中 的 乘 子 迭代 公式 ,有 
Dio =0 (x +xt -1) ,=1,2,…， 
其 中 心 = (zf ,x )7 ,0 =0,ai =0.1. 
依次 对 k=1,2,… 用 上 述 公 式 , 得 到 ws,w 和 x 的 数值 结果 ,如 表 10.3.1 
所 示 . 0 


表 10.3.1 例 10.3.1 的 选 代 过 程 


1 “| 

1 0.1 | 0 (0.071 4,0.214 2) 
2 0.2 0.071 4 (0.150 7,0.452 3) 7 
沁 0.4 0.1507 (0.211 8,0.635 5)" 
4 0.8 0.2118 (0.340 9,0.722 7)7 
5 1.6 0.2409 (0.248 7,0.746 3) 7 
6 3.2 0.2487 (0.249 9,0.749 7)™ 
4 W299 (0. 249 9,0.749 9)™ 

1 


在 例 10.1. 2 中 ,我 们 曾 用 外 罚 函 数 法 求解 过 本 例 的 问题 ,在 那里 进行 了 16 

轮 迭 代 才 获 得 原 问 题 的 近似 最 优 解 ( 见 表 10. 1.2) 
xie = (0.249 9,0.749 9)7. 

现在 用 广义 乘 子 法 求解 , 仅 7 轮 迭 代 就 达到 了 同样 的 效果 . 并 且 , 在 用 外 罚 函 数 
法 求解 时 , 罚 因 子 o, 要 增 大 到 1 638. 4 才能 得 到 这 一 精度 的 近似 解 , 但 用 广义 
乘 子 法 , 罚 因子 es 仅 需 增 大 到 6. 4 即 可 . 

从 上 述 例子 中 我 们 还 发 现 ,尽管 乘 子 迭代 要 增加 计算 量 , 但 正 是 由 于 乘 子 世 
的 逐次 调整 才 加 速 了 x 向 最 优 解 *= (0. 25 ,0.75) 接近 ,同时 也 避免 了 因 罚 因 
子 cs 过 大 而 带 来 的 数值 计算 上 的 困难 ,这 充分 体现 了 广义 乘 子 法 比 外 罚 函 数 法 
优越 的 方面 . 


10. 3.2 不 等 式 约束 下 的 广义 乘 子 法 


下 面 考虑 带 有 不 等 式 约束 的 问题 (10. 1.1) 和 (10.1.4). 
对 于 只 带 不 等 式 约束 的 问题 (10. 1.4) ,为 了 利用 关于 等 式 约束 问题 所 得 到 
的 结论 ,引入 附加 变量 y= (y,,y;,…,Y。)", 则 问题 (10.1.4) 等 价 于 等 式 约束 
问题 
人 内 (10.3.4) 
st g(x) -y=0,i=1,2,.",m. 
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问题 (10. 3.4) 所 对 应 的 广义 乘 子 法 中 的 乘 子 罚 函 数 为 
Zr,y,cuvwt) =f (x) + 到 BD [ex) -7 了 Pw Lglx) -7], 
从 而 把 问题 (10. 1.4) 转 化 为 求解 无 约束 问题 
min Lx,y, Ceywi) (10.3.5) 


为 了 把 问题 (10. 3.5) 化 成 只 :关于 = 求 极 小 的 问题 ,我 们 将 先 对 函数 L(x,y,0,， 
w,) 关 于 y 求 极 小 ,由 此 解 出 y, 再 代入 问题 (10. 3. 5) 中 . 
用 配方 法 将 L(x,y,0,,w) 转 化 为 
L(x ,ys w) 
=/(z) + 阅 公 |[ (ex) -wu )] - 
为 使 上 关于 y 取 极 小 值 , 则 y; 应 满足 


(1) 当 wi&iCGD -wo 20N, =T [oe -wl ]; 


(wtH )? 


} (10.3.6) 


20, 


(2) 当 oigi(x) -w <0 时 ,y, =0. 
综合 (1) (2) 即 有 


六 = 二 maxl0,aug (z) w|i=1,2,.,m. (10.3.7) 
把 (10.3.7) 式 代入 (10.3.6) 式 中 ,由 此 定义 出 与 yx 无 关 的 乘 子 罚 函 数 
LOzasywt) =f (x) + 起 > | [max{0,w® -osgi(z) -Cw )*}, 
根据 等 式 约束 下 的 广义 乘 子 法 的 乘 子 迭代 公式 ,可 以 推出 不 等 式 约束 下 的 广义 


乘 子 法 的 乘 子 迭代 公式 : 
ae[EC) -7] 
= 人 -gg (x) +maxi0,aigi(z) 一 
= maxl0,ofo -aigi(z)| =1.2，- 


从 而 ,问题 (10. 1.4) 转 化 为 求解 一 系列 无 约束 问题 


mm (XO We). 


对 于 既 含 有 不 等 式 约束 义 含 有 等 式 约束 的 一 般 非 线性 最 优化 问题 
(10.1.1) ,可 定义 乘 子 罚 函 数 


了 (reywiyms) 


= + 二 二 1[max(0,afo -ai&i(z))] (agoD)21 + 


全 (x)- Th, 


六 
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其 中 乘 子 迭代 公式 为 


uw ， 


=max{0,w" -aigi(z) =1,2，m， 


VD = 一 (=1,2， 包 
因此 ,问题 (10. 1. 1) 转 化 为 求解 一 系列 无 约束 问题 
minL(X ,0 We, V,). 
上 述 两 类 问题 的 具体 计算 步骤 与 等 式 约束 的 情形 类 似 . 
例 10.3.2 用 广义 乘 子 法 求解 


ey x +2x2; 


) 


(10.3.8) 


St Xi + 和 全 1. 


解 引入 乘 子 罚 函 数 


L(x,o ,w,) 
= 2 + 二 | [max(0,w, 00 + -1))] -wl 


1 Ww 
x? +2x +351[w, -al(zl +x2 —1)] -wl| ,x +x, -1< 了 本， 


2 


ww, Wi 
2 tr 
则 有 
2x, -[ ( 1)] 1< 
ny 冰雹 二 二 
a Xl Wi 一 OCX 十 22 ] .zi + x 
ax wh 
2x, ， Si +s 一 1 > 一 ， 
o 
Wi, 
a Ax [wo tr 1)] ,x +r -1 
Oxy wh 
4xa ， + 1 > 
党 
Vi(x,o,w) =0， 
得 到 无 约束 问题 


min L(x,0 ,wi) (10.3.9) 
< 
的 最 优 解 xs = (x1”,x;”)", 其 中 


(人 _2Cws +0) (+o 
1 At30 2 4+30 
取 o=2,w,=1, 有 
“28J . 


商 二 《 册 大 下) 呈 序 动 


再 修正 乘 子 w , 令 


w=max|0,w, -a(x +x -1)} =- 


得 到 


X= (x » 和 
25 25 
以 此 类 推 , 设 在 第 上 次 和 迭代 中 取 乘 子 w, , 则 得 到 无 约束 问题 (10.3.9) 的 最 优 解 
1 
"10 


+ 
2) 9)"'=( 匣 8 

j 
t=) = (s+ (2+w)). 
再 修正 w ,有 


ws =max{0,w, -2(z0 +xto -1)1 = 言 (2w, +4)， 
显然 , 按 上 式 迭 代 得 到 的 乘 子 序列 jwi| 是 收敛 的 , 且 当 kk 一 % 时 ,ui 一 全 ,一 


(全 司 = 其 中 王 恰 为 原 不 等 式 约束 问题 (10.3.8) 的 最 优 角 0 


在 上 述 两 种 情形 的 广义 乘 子 法 中 ,由 于 罚 因 子 cs 不 必 趋 向 无 穷 大 就 能 求 得 
原 约束 问题 的 最 优 解 ,因此 ,避免 了 外 罚 函 数 法 中 的 病态 出 现 . 计算 经 验 表 明 , 广 
义 乘 子 法 优 于 外 罚 函 数 法 . 


二 各 "最 : ;十 二 三 二 一 
1， 试 用 外 罚 函 数 法 求解 下 列 约束 非 线性 最 优化 问题 ,要 求 选取 o, =0.5,a =2,e=10: 
min + min #7 +2x2 
(DD st tr -l=0, (2) (st. 2 +x,<2, 
EE zl1. 


人 
(3) { 
St. 72 5 -2x -2x, =0. 


2. 用 外 罚 函 数 法 求解 问题 


st x-220. 
(1) 写 出 cs =0,1,10 时 相应 的 罚 函 数 并 画 出 图 形 ; 
(2) 取 es =k-1(E=1,2,…), 求 出 近似 最 优 解 的 迭代 点 列 ; 
(3) 利用 (2) 求 问题 的 最 优 解 . 
3. 设计 一 个 相应 的 罚 函 数 , 当 kl 时 ,收敛 旦 能 用 来 求解 例 10. 1. 2. 
4. 用 内 罚 函 数 法 求解 下 列 不 等 式 约束 问题 : 
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位 (x -1)2; 


人 (xz+l1)23; 2 页 xz 
s.t. x>0. 


St. 2x +x, +3>0. 
min x +2x2; 
(3) | 
Sst. x +x 一 1>0. 
5. 利用 对 数 障碍 函数 求解 问题 
min zx, +2x,; 
~ -x + >0, 
x 0. 
6. 设 C(x,r) 是 问题 (10.1.4) 对 应 的 障碍 函数 , 若 其 可 行 域内 部 ints = |xeR" |g,(x) > 
0,i=1,2,…,m| 有 界 , 试 证 : 
min G(x,r); 
人 YeintS 
必 在 ints 上 达到 最 优 解 . 
7, 试用 广义 乘 子 法 求解 下 列 等 式 约束 问题 


站 2 
min + 
(1) 


( 取 w =0) 
0 
min x? +2x; 

© | ( 取 =0) 
gt x +x -1=0. 


min 3 — 3x); 
(3) * +x =1,( 取 v=(0,0)") 
x =0. 
要 求 取 og =2 (4=1,2,…) ,并 作 3 轮 和 迭代 . 
8. 对 于 约束 最 优化 问题 
min x +s 
人 2 十 2 
分 别 写 出 由 外 罚 函 数 法 和 广义 乘 子 法 建立 的 最 优 解 的 迭代 点 列 . 
9. 试用 广义 乘 子 法 求解 下 列 带 不 等 式 约束 的 最 优化 问题 : 
i 他 2x +3xai 


， ，  ( 取 w =0) 
st 1-2x, -x,>0. 


i + +) 
本 
2 ( 取 w,=(0,0)") 


x 1. 


2 


要 求 取 og,=0.1,0,,, =20,(k=1,2,…) ,并 进行 3 轮 和 迭代- 

10. 对 于 等 式 约束 问题 (10. 1. 2) ,在 其 乘 子 罚 函 数 L(x,o ,v) 中 令 v=0, 即 得 到 罚 函 数 法 
中 的 一 般 罚 函数 ; 若 在 L(x,o,v) 中 令 品 取 非 零 值 并 且 v 可 以 随 迭 代 而 不 同 , 但 不 用 迭代 公式 
修正 , 即 得 到 更 广 的 外 罚 函 数 法 - 试 证 : 若 乘 子 序列 |w} 上 有 界 , 则 定理 10.1.3 对 乘 子 罚 函 数 
ZL(r,otyw) 也 成 立 . 
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第 十 一 章 ”二 次 规划 与 上 马 规 划 


二 次 规划 是 指 目标 函数 为 二 次 函数 .约束 条 件 是 线性 等 式 或 线性 不 等 式 的 
约束 优化 问题 . 在 二 次 规划 问题 中 ,目标 函数 的 Hesse 矩阵 和 约束 条 件 的 Jacobi 
和 矩阵 都 是 常量 ,因此 最 优 性 条 件 和 求解 方法 都 有 其 特殊 性 . 本 章 首先 讨论 介绍 二 
次 规划 的 几 种 典型 求解 方法 ,然后 介绍 求解 凸 规划 问题 的 割 平面 法 . 


11.1 等 式 约束 二 次 规划 问题 


等 式 约束 二 次 规划 问题 可 表示 为 


min f(x) = Sx'Qx + ci (11.1.1) 


Ss.t. Ax=b, 
其 中 QeR" "为 对 称 矩 阵 ,4 e R" 且 不 妨 设 rank 4 =m<n,ceR",beR". 


11.1.1 Lagrange 乘 子 法 


在 第 三 章 已 经 讨论 过 等 式 约束 最 优化 问题 的 最 优 性 条 件 , 下 面 针 对 二 次 规 
划 问 题 的 特殊 性 ,给 出 等 式 约束 二 次 规划 的 最 优 性 条 件 . 
根据 定理 3. 2. 1 可 得 问题 (11. 1.1) 局 部 极 小 点 的 一 阶 必要 条 件 . 
设 主 为 问题 (11.1.1) 的 局 部 极 小 点 , 则 存在 Lagrange 乘 子 向 量 pe R" ,使 得 
Qr+c-A'vd=0, 
{ i (11.1.2) 
AX =b, 


其 等 价 的 矩阵 形式 为 


[> 了 加 -[ (11.1.3) 


根据 定理 3. 2. 2 得 问题 (11. 1. 1) 局 部 极 小 点 的 二 阶 充分 条 件 : 
车 存在 xe R" ,ve R" ,使 得 (11.1.3) 式 成 立 , 且 对 一 切 非 零 向 量 ze ,只 
要 Ahz=0, 便 有 z Qz>0, 则 到 为 问题 (11.1.1) 的 严格 局 部 极 小 点 . 
Lagrange 乘 子 法 就 是 求解 可 行 域内 的 K -T 点 , 即 Lagrange 函数 的 稳定 点 . 
假设 Q 可 逆 ,考虑 方程 组 
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人 -4rm=0， 
Ar = b, 
将 第 一 个 方程 两 边 左 乘 48' ,再 用 第 二 个 方程 代入 ,得 
(AQ 'A')v=b-AQ'c, 
求 得 此 方程 组 的 解 5, 再 代 回 到 第 一 个 方程 , 求 出 问题 (11.1.1) 的 K-T 点 
=Q0"(A'5-ce). 
如 果 2 为 半 正 定 矩 阵 ,那么 问题 (11.1.1) 的 K -T 点 就 是 其 全 局 极 小 点 . 
下 面 用 分 块 矩阵 的 方法 给 出 求 问题 (11. 1.1) 的 K -T 点 的 另 一 种 形式 . 


若 线 性 方程 组 (11. 1.4) 式 的 系数 答 阵 | 下，“。 ] 可 进 , 则 设 


人 H -R 
[2 0 ] -| x cl OS) 
从 而 由 (11.1.4) 式 可 得 问题 (11. 1. 1) 的 全 局 极 小 点 
全 =-Hc+Rb, 
v=R'c -Gb. 
当 吧 -存在 时 ,由 (11.1.5) 式 可 得 百 .R、.G 的 表达 式 为 
刀 =0 -0 47(40 -47) 40 ， 
R=O-4T(40 47) ，， 
G=-(40 47) 
设 x。 是 问题 (11.1.1) 的 任 一 可 行 解 , 即 4r。 =, 在 xo 处 目标 函数 的 梯度 
V/(xo) =Qro +e, 


(11.1.4) 


(11.1.6) 


则 (11.1.6) 式 可 改写 为 
=x -HV/(x), 
sw Vf(xo). 
例 11.1.1 用 Lagrange 乘 子 法 求解 问题 


min x? +2x3 +x3 十 2 -2x x2 
| t 


(11.1.7) 


Xi +X2 +X =4, 


2x, — x2 +%3 =2. 


解 易 知 
a 0 
ll 
0 0 2 
显然 ,Q 可 逆 且 
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1 
1 FF 0 
9 
2 -| 二 二 0 
1 
0 0 于 
因此 , 按 上 述 H.R、G 的 表达 式 可 得 
1 1 _3 3 3 
2 4 4 4 4 5 
4| 1 1 3 4| 7 4 - 到 
下 = 4 | 
下海 
J 和、 和” 当 7 2 
4 8 8 4 4 
从 而 ,所 求 问题 的 全 局 极 小 点 为 
训 21 43 3\" 
总 = -ae+Rd=| 计 五 0 


11.1.2 直接 消去 法 
求解 问题 (11.1.1) 最 简单 而 最 直接 的 方法 就 是 利用 约 东 条件 来 消去 部 分 变 
基 , 从 而 把 问题 转化 成 无 约束 问题 ,这 一 方法 称 为 直接 消去 法 ( direct elimination 


method ). 
将 矩阵 4 分 解 为 4 =(B,N) ,其 中 BeR"*" 为 基 和 矩阵 ,相应 地 ,将 x,c,@ 作 


如 下 分 块 : 


Xs Ca CQ，20， 
“-[-] [2-[o or]， 
其 中 Q,, e R"*". 这 样 ,问题 (11. 1. 1) 的 约 东 条 件 变 成 
Bxrs + Nx, =b, 


即 得 
xs=B"'b-B Ne,, 


代入 /(x) 中 就 得 到 与 问题 (11. 1. 1) 等 价 的 无 约束 问题 
议 证 (x4) = 二 xDszw + EDxy, (11.1.8) 
其 中 
Q,=Q; -QuB 'N-N'(B')'Q,, +N'(B')'QB'N, 
ev=cv-N (B )rca+(O -N'(B')'Q)B'b. 


将 函数 (zw) 在 点 Fw sR “进行 Taylor 展开 ,可 得 
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p(xw) =Pp(Ew) + 品 p(Ew)(rw 一 元 v) + 半 (zw -En) 0 (x -Bs 


因此 fw 是 g(x) 的 全 局 极 小 点 当 且 仅 当 和 矩阵 @, 是 半 正 定 的 , 且 
Vo(xn) =Ozv+ew=0. 
如 果 @, 正定 ,那么 问题 (11. 1.8) 的 全 局 极 小 点 为 
En = -O5 ev (11.1.9) 
从 而 问题 (11. 1. 1) 的 全 局 极 小 点 为 


如 让 -NT 
s=[z]-| 0 ] :| -了 2 Em 
记 天 处 的 Lagrange 乘 子 为 五 , 则 有 
A'5=V/(x) =Qx+e, 
于 是 
5=(B ) (Qs +Quky +ce)， 
如 果 @, 半 正 定 且 问题 (11. 1.8) 有 下 界 ,那么 问题 (11.1.8) 存 在 全 局 极 小 
点 ;如 果 @, 半 正 定 且 问 题 (11.1.8) 无 下 界 ,或 @, 不 是 半 正 定 的 ,那么 问题 
(11,1.1) 不 存在 有 限 解 . 
例 11.1.2 求解 二 次 规划 问题 
min f(x) =x: +x) + 


8.t. 5%i +2x2 一 xs =4, 


Xi —X2 +X3 = 一 2. 
解 将 约束 条 件 写 成 
Xi +2x =4+23， 


用 Gauss 消 元 法 求 得 


Xi = -本 x2 =2 Fn 


3 
并 代入 /(x) 中 可 得 等 价 的 无 约束 问题 


min p(x,) = + 本 +4， 


其 中 心 ,= 中) ,显然 正定 , 故 令 Vo(z) =0, 求 得 坟 = -和 从 而 得 二 = 子 ,二 = 


里. 因此 ,所 求 问题 有 惟一 的 全 局 极 小 点 
2 10 9 


下 = (天 ,到 ,入 ) 7 = 了 ,了 ,了 
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再 利用 4'5=Qx+c, 即 


1 11， fr2 0 of27 
2 和 [;]= 0 2 中 on | 
-1 11™ lo 0 2 -67 


可 求 得 五 = 了 二 = - 乞 . 0 
直接 消去 法 思想 简单 明了 ,使 用 方便 . 不 足 之 处 是 B 可 能 接近 一 个 奇异 方 
阵 ,从 而 引起 全 局 极 小 点 的 数值 不 稳定 . 


11.1.3 广义 消去 法 


广义 消去 法 ( general elimination method ) 并 不 需要 假定 8 可 逆 , 因 而 能 够 处 
理 一 般 的 带 等 式 约束 的 二 次 规划 问题 . 

设 AeR"" 有 是 rank 4 =m,Z eR"*" "的 列 向 量 组 是 齐 次 方程 组 Az =0 的 
基础 解 系 . 若 存 在 矩阵 了 eR"*" ,使 得 (Y,Z) 可 逆 , 则 有 AZ =0, 且 AYe R"*" 为 
非 奇异 矩阵 . 于 是 问题 (11. 1. 1 ) 的 约束 方程 hx =b 的 通 解 可 表示 为 

x=Y(AY) -5+Z77， (11.1.10) 
其 中 改 为 任意 nn-m 维 实 向 量 .将 (11.1.10) 式 代入 问题 (11.1.1) ,得 到 与 问题 
(11.1. 1) 等 价 的 无 约束 最 优化 问题 


min y(x) = 二 97(Z7OZ) + [e+OYC4AY) ™'b] "Zn, 


如 果 Z7QZ 正定 ,那么 由 (11.1.9) 式 可 知 ,上 述 无 约束 最 优化 问题 的 全 局 极 小 点 
= -(Z7OZ)-'ZT[c+CY(47) -5]， (11.1.11) 
将 (11.1.11) 式 代入 (11.1.10) 式 ,得 
地 =Y(4Y) -5-Z(Z7OZ)-ZTIc+COF7(47) -2]， (11.1.12) 
再 将 (11.1.2) 的 第 一 式 两 边 左 乘 Y ,然后 用 (11.1.12) 代 人 , 则 相应 的 Lagrange 
乘 子 可 表示 为 
五 = [(AY)™']'Y'(Qx +c) 
= [(47)-]77[T-OCZ(CZTOZ)-ZT]c+ 
[(AY)™']'Y'Q[1 - Z(ZTOZ) -ZTCO]7(47) 'b. (11.1.13) 
如 果 适 当选 取 了 ,使 得 47 = 了 7, 则 (11.1.12) 式 和 (11.1.13) 式 变 成 
X=Yb-2Z(2'02) 2 (c+QYb), 
D5=Y" (Pe +QP'Yb), 
其 中 P=1-Q2Z(2"'Q2) -:Z7. 
对 于 矩阵 Y 和 2 的 不 同 选取 方式 ,可 得 到 问题 (11. 1. 1) 的 不 同 计算 方法 . 
第 一 种 方法 是 利用 矩阵 的 QR 分 解 来 选取 和 矩阵 了 和 Z. 假设 
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过 R 
4=o[ |， 
其 中 为 正 交 和 矩阵 ,R 为 非 奇异 的 上 三 角 和 矩阵 , 记 Q = (2, ,0:) (Q, sR ), 且 
取 yY=Q(R-)7,Z =Q,, 可 以 验证 4=R'Qi,AY =1,4Z =0. 
第 二 种 选取 方法 是 取 


B' -B-'N 
7-| 0 ]z-[ I ]， 
则 利用 广义 消去 法 得 到 斌 和 五 的 计算 公式 与 直接 消去 法 所 得 公式 完全 相同 . 
其 实 ,可 以 任意 选取 Ve Rom ,使得 | 人 可 这, 令 


2-9， (11.1.14) 


则 所 选 矩 阵 Y 和 2 必 满 足 4Y =1,AZ =0. 的 选取 方式 不 同 ,可 得 到 不 同 的 了 
和 Z ,从 而 导致 不 同 的 计算 过 和 五 的 计算 公式 . 正 由 于 这 个 一 般 形式 (11. 1. 14)， 
许多 早期 求解 二 次 规划 的 方法 都 可 以 看 作 广义 消去 法 的 特殊 情形 . 


11.2 起 作用 集 方法 


对 于 一 般 约束 的 二 次 规划 问题 的 求解 ,很 自然 的 想法 是 利用 等 式 约束 二 次 
规划 问题 的 求解 方法 来 解决 , Fletcher (1971) 提 出 起 作用 集 方法 (active set 
method ) 就 是 基于 这 种 思想 . 起 作用 集 方法 的 关键 是 ,在 每 次 迭代 中 ,都 以 已 知 的 
可 行 点 为 起 点 ,将 在 该 点 起 作用 的 约束 作为 等 式 约束 ,而 对 在 该 点 不 起 作用 的 约 
束 暂 时 不 予 考 虚 , 这 样 , 就 将 一 般 约束 的 二 次 规划 问题 转化 为 有 限 个 仅 带 等 式 约 
束 的 二 次 规划 问题 . 

考虑 一 般 约束 的 二 次 规划 问题 

min f(x) = + x; 


st. Ar=b (11.2.1) 


Ex =e. 
其 中 @ 为 n 阶 半 正 定 矩 阵 ,ce R",A eR"*,EeR*,beR",eeR, 且 不 妨 设 
rank A =m, rank E =1. 
记 问 题 (11. 2. 1) 的 约束 条 件 为 
ax>blieT=112， ml)， 
Biz=e(eJ=1l2,…, 省 )， 
其 中 ez 是 矩阵 4 的 第 i 个 行 向 量 ,B; 是 矩阵 E 的 第 j 个 行 向 量 ,b = (bo ， 
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b.)', e=(e,,e,.,e)". 
设 是 问题 (11.2.1) 的 可 行 点 ,如 果 起 作用 约束 指标 集 KE) UJ 是 已 知 的 ， 
则 可 以 运用 求解 等 式 约束 二 次 规划 问题 的 方法 , 求 得 问题 
min f(x) = Ox CT 
St. arx=b(ies1(E))， (1:2.2) 
Bix=e(je)), 
的 全 局 极 小 点 ,但 是 起 作用 集 1() UJ 通常 是 未 知 的 ,如 何 确定 起 作用 约束 指标 
集 是 求解 一 般 约束 二 次 规划 问题 的 关键 . 
下 面 首先 讨论 问题 (11.2. 1 ) 与 问题 (11. 2.2) 的 解 的 关系 . 
由 于 在 附近 ,问题 (11.2.1) 的 可 行 点 必 是 问题 (11.2.2) 的 可 行 点 ,因此 
当 二 是 问题 (11.2.1) 的 局 部 极 小 点 时 ,x 也 是 问题 (11.2.2) 的 局 部 极 小 点 . 
假设 是 问题 (11.2.2) 的 局 部 极 小 点 , 且 是 问题 (11.2.1) 的 可 行 点 , 当 
Lagrange 乘 子 二 =0 (ie 1(x)) 时 , 令 =0(ieI\1(x)), 则 是 问题 (11.2.1) 的 
K -T 点 . 因为 问题 (11.2.1) 是 一 个 凸 二 次 规划 ,所 以 其 K -T 点 就 是 它 的 全 局 
极 小 点 . 
设 在 求解 问题 (11.2.2) 的 第 k 次 迭代 中 ,将 前 一 次 迭代 得 到 的 可 行 点 x, 作 
为 起 点 ,在 该 点 起 作用 约束 的 指标 集 用 5, UJ 表示 (其 中 5,.S1(x,)), 且 通常 要 
求 所 选 约束 指标 集 对 应 的 约束 函数 的 梯度 是 线性 无 关 的 . 令 d =x -x,, 则 


/(x) = Fd +)"Q(d + re) + er(d+ x,) 


= a Qd + d'Qx, + 了 or +ecrd +cry 
= $d'Qd + (Qx, + ed + (TxtQx, er 


于 是 问题 (11. 2. 2) 转 化 成 求 关 于 d 的 等 价 最 优化 问题 : 
min 9(d) = 了 drOd+(Or +c)rdi 
st ald=0,ieS,, (11.2.3) 
Brd=0,jel. 
利用 解 等 式 约束 的 二 次 规划 问题 的 方法 求解 问题 (11.2.3) ,其 全 局 极 小 点 记 为 
d, ,相应 的 Lagrange 乘 子 为 wo (ie 5,) ,vi (jeJ). 根据 不 同情 形 ,采取 下 列 相 
应 的 步 又 . 
(1) d, =0. 此 时 x 是 问题 
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min f(x) = 二 rrOr +cTi 
Bl be dy, (11.2.4) 
Bix=e(je]), 
的 K-T 点 , 如果 wi >>0( Vie 5,) 均 成 立 , 则 x 是 问题 (11.2.1) 的 K-T 点 . 否 
则 , 令 训 5,, 使 得 
(9 


ur =minu:®? <0, (11.2.5) 


is 


取 Se =S,\{i1 ,重新 求解 问题 (11. 2. 3 ). 
(2) di #0. 
当 x, + 由 是 问题 (11.2.1) 的 可 行 点 时 ,在 第 k+1 次 迭代 中 , 取 和 迭代 点 为 
Wi 
当 x, +d, 不 是 可 行 点 时 , 取 搜 索 方向 为 di ,并 取 和 迭代 点 
Ki = + Ad,, 
其 中 A, 为 步 长 . 按 保 持 可 行 性 的 要 求 , 步 长 A, 的 取 值 应 使 得 对 于 任意 i #5， 
都 有 
a (x + Aid,) 2b,. (11.2.6) 
由 于 x 是 可 行 点 ,arxk> 凡 ,因此 当 ard,>0 时 ,对 任意 的 非 负 数 At，(11.2.6) 
式 总 成 立 ; 当 ord <0 时 ,只 需 取 正 数 


和 | (11.2.7) 
i ad, 
sea 
即 可 . 如 果 Ak =1, 即 
b, -ald, ， 
ara, >1l(Vig¢S,), 
则 x +d, 是 问题 (11.2.1) 的 可 行 点 ; 
如 果 和 A。 <1, 即 存在 i。# 5, ,使 得 
bald, 
<l, 
ao 


则 在 点 x, 处 有 
Vx =o (Xs +Atd) =bo， 

这 说 明 ,在 点 zi, 处 ,az>b 为 起 作用 约束 . 因此 ,应 把 指标 is 加 入 点 x,! 处 的 
起 作用 约束 指标 集 St 中 , 即 令 S54,, = SeU fiol. 

下 面 给 出 起 作用 集 方法 的 算法 步骤 . 

算法 11 -1( 起 作用 集 法 ) 

Step 1 选取 初始 数据 . 给 定 初始 可 行 点 xi ,相应 的 起 作用 约束 指标 集 为 
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S,UJ, 令 k=1. 
Step 2 ”求解 等 式 约束 问题 . 求解 问题 (11.2.3), 设 其 全 局 极 小 点 为 di. 若 
d, =0, 则 转 Step 4; 否 则 ,由 (11.2.7) 式 计算 步 长 A, 令 xs:=xzs t+Atd ,计算 
Vf(xi,1), 转 Step 3. 
Step 3 ”修改 起 作用 约束 指标 集 . 若 A <1, 则 存在 i# 54, 使 qhxi,, =6, 故 
令 Se=SeUili|l , 置 和 =k+1, 返 回 Step 2; 若 A, =1, 则 置 :=k+1, 转 Step 4. 
Step 4 ”检查 是 否 满足 终止 准则 . 用 公式 (11.1.7) 计 算出 所 有 起 作用 约束 
对 应 的 Lagrange 乘 子 wo (ie5,) ,vi (jeJ), 令 
(9 


ui 


ea 
=minu;” , 
ieS 


车 ui :0, 则 迭代 终止 ,zx 为 问题 (11.2.1) 的 全 局 极 小 点 ;否则 , 令 5,:= Si\ 
11 , 转 Step 2. 
下 面 分 析 起 作用 集 算法 在 第 次 迭代 后 产生 的 全 局 极 小 点 满足 的 性 质 . 
定理 11.2.1 设 在 第 k 次 迭代 中 ,起 作用 约束 指标 集 5, UJ 对 应 的 约束 函 
数 的 梯度 是 线性 无 关 的 ,问题 (11. 2. 3) 全 局 极 小 点 d, =0， 
(1) 车 存在 ie 5, ,使 得 ws <0, 且 等 式 约束 二 次 规划 问题 
是 9(d) = 了 dr0d+ (Or +c)rdi 
st ard=0,ieS\li|, (11.2.8) 
Bd=0,jel. 
的 全 局 极 小 点 为 有 , 则 aa >=0; 
(2) 设 问 题 (11.2.8) 的 约束 矩阵 为 A,, 以 方程 组 4,z =0 的 基础 解 系 为 列 
向 量 组 的 矩阵 记 为 Z, , 若 和 矩阵 Z:QZ, 正定 , 则 aa >0, 且 d, 是 问题 (11. 2.8 ) 的 
目标 函数 的 下 降 方向 
证 明 (1) 由 于 x, 为 问题 (11.2.4) 的 K-T 点 ,因此 存在 Lagrange 乘 子 
ut (ie5,) ,vn (jeJ) ,使 得 
Qxrite= Sua + vp (1 20) 
名 


fe 


又 由 如 是 问题 (11.2.8) 的 全 局 极 小 点 ,可 知 存在 Lagrange 乘 子 uu (ie 5S,\ 
1 ) ,wv (jeJ) ,使 得 
Qa + (Or te) = DD ia+t Pop (2.10) 
将 (11.2.9) 式 代入 (11.2.10) ,得 
Qa = Fu ud) + D0 -0 )B) -us,, 


i Oi, 
ie SN rl 
ils2.11} 
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将 (11.2. 11) 两 边 左 乘 到 ,并 利用 问题 (11. 2. 8 ) 的 约束 条 件 ,得 
TQd = -ui 人 ao = -ul ad,, (11.2.12) 

因 @ 为 ” 阶 半 正 定 矩阵 , 且 wu <0, 故 atd,>0. 

(2) 问题 (11. 2.8) 的 全 局 极 小 点 @& 是 方程 组 4,z =0 的 解 , 则 存在 向 量 7， 
使 得 & = Zi ,而 ZiQZ, 正定 ,从 而 

diQd, =n"2:02Z.n>0, 

且 上 式 等 于 零 的 充 要 条 件 是 =0, 即 & =0. 又 因 约 束 指标 集 5, UJ 对 应 的 约束 
函数 的 诸 梯 度 是 线性 无 关 的 , 故 由 (11.2.11) 式 知 ,如 果 d=0, 那 么 un =0, 与 
条 件 ui <0 矛 盾 ,于 是 dQd, >0, 再 由 (11.2. 12) 有 ,aa >0. 

将 (11.2. 10) 两 边 左 乘 必 ,得 问题 (11.2.8) 的 目标 函数 值 

(2 ) = -了 可 02 <0， 

说 明 4 是 问题 (11. 2.8) 的 下 降 方向 . 0 

定理 11.2.2 假设 在 第 上 次 迭代 中 ,问题 (11.2.3) 的 全 局 极 小 点 dz0, 且 
满足 定理 11.2.1(2) 的 条 件 , 则 d, 是 问题 (11.2.3) 的 目标 函数 的 下 降 方向 . 

证 明 ”因为 矩阵 ZiQZ, 正定 ,所 以 d, 冯 0 为 问题 (11.2.3) 的 全 局 极 小 点 . 
同时 d =0 是 问题 (11.2.3) 的 一 个 可 行 点 ,从 而 p(d,) <p(0) , 即 

FdiQd, +(Qx, +c)"d, <0， 
又 由 下 0d,>0, 知 
Vr)rda =(Or +c)"d, <0, 

因此 d 是 问题 (11.2.3) 的 目标 函数 的 下 降 方向 . 0 

根据 定理 11. 2. 1 和 定理 11.2.2, 算 法 11 -1 每 次 迭代 后 ,问题 (11.2.3) 的 
全 局 最 优 解 都 是 问题 (11. 2. 1) 的 目标 函数 的 下 降 方向 ,无 论 是 增加 一 个 约束 还 
是 删除 一 个 约束 ,选取 的 起 作用 约 东 指标 集 St 都 不 可 能 重复 出 现 . 而 约束 条 件 
的 个 数 是 有 限 的 , 故 不 同 的 5, 也 有 限 ,因此 算法 11 -1 必 在 有 限 步 内 求 得 问题 
(11.2.1) 的 全 局 极 小 点 . 

例 11.2.1 用 起 作用 集 法 求解 下 列 二 次 凸 规划 问题 


min f(x) =x! —xx, +2x3 一 xi — 10x,; 
2 


(11.2.13) 
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取 初 始 可 行 点 x, = (0,0) ,相应 的 起 作用 约束 指标 集 5, = 12,31. 求解 关于 d = 
(d ,d,)" 的 等 式 约束 二 次 规划 问题 

min (d,)’ -dd +2d: -d, -10d,; 

st d,=0, 

d, =0. 
得 全 局 极 小 点 d, = (di ,di"”)" = (0,0)"， 因 此 ,x, 是 对 应 的 等 式 约束 问题 的 全 
局 极 小 点 . 为 判断 x, 是 否 为 问题 (11.2.13) 的 全 局 极 小 点 ,需要 计算 Lagrange 
乘 子 . 
由 S, = 12,31 知 


| 


按 公式 (11.1.7) , 求 得 乘 子 ww = -1,w， = -10, 故 x, 不 是 问题 (11.2.13) 的 
全 局 极 小 点 . 
将 由” 对 应 的 问题 (11.2. 13 ) 中 的 第 3 个 约束 的 指标 从 S, 中 去 掉 , 即 5, = 
121 ,再 解 问题 
min di -dd,+2d: -4d, -10d,; 
1 (1 5 
得 全 局 极 小 点 由 = (di ,dn)"= (0, 了 3) - 


计算 迭代 步 长 


VY =min{1,§}=1. 


x =x +Ad, = +[s] =[s2]. 


v(x) =| -到 9) . 
由 于 A, =1, 因 此 5, = 121 ,并 计算 相应 的 Lagrange 乘 子 . 此 时 4 = (1,0) ， 
5 =0, 故 按 公式 (11.1.7) 可 得 wo = -也 ,因此 也 不 是 问题 (11. 2. 13) 的 全 局 


极 小 点 . 
从 5, 中 删除 指标 2, 则 5, = 名 , 解 问题 


mind? did, +2d? 一 了 4 


今 


并 求 出 
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得 全 局 极 小 点 山 = (df ,da )T = (2 二 此 时 X=min1, 放 } = 于 ,再 令 


二) ， 
并 求 出 
Vf(x) =( -3,0)". 
显然 ,5, = |11 ,再 解 问题 
min d? -dd, +2d: -3d, 
{a -3d, -2d, =0. 


得 全 局 极 小 点 = ,9)"=( 言 ， - 划 且 A =mint1,8| =1. 令 
| 9 
= Ad =( 计 ,4) 5 
并 求 出 
V(x) =( -4, - 引 


在 点 处 ,5. = 111 ,用 公式 (11.1.7) 可 算出 ?= 训 >0. 因此 ,x =( 主 9)， 
即 为 所 求 的 问题 (11. 2. 13) 的 全 局 极 小 点 . 0 


11.3 Wolfe 算法 


单纯 形 法 对 于 求解 线性 规划 问题 是 一 个 很 有 用 的 方法 . 本 节 将 要 介绍 的 
Wolfe 算法 就 是 试图 将 线性 规划 中 的 单纯 形 法 推广 到 二 次 凸 规划 问题 . 
考虑 二 次 规划 问题 


min /(x) = Tx"Qx +CTXi 


st. Ar=b, (11.3.1) 


x=0. 

其 中 QQ 为 n 阶 半 正 定 和 矩阵 ,c e R" ,beR",AeR"”, 且 不 妨 设 rank4 =m. 

首先 讨论 问题 (11.3. 1 ) 的 最 优 性 条 件 . 问题 (11.3.1) 对 应 的 Lagrange 函 
数 为 

L(x,v,u) =/(x) -vAr-b) -u'rx. 
问题 (11. 3. 1) 的 全 局 极 小 点 即 K-T 点 所 满足 的 条 件 是 ,存在 Ve R",neR” 
使 得 
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FE (11.3.2) 


>=0,x=0 
成 立 . 车 把 问题 (11. 3.2) 中 的 非 线 性 部 分 wx 作为 目标 函数 , 式 (11.3.2) 中 的 
线性 部 分 作为 约束 条 件 , 则 可 得 到 具有 线性 约束 的 非 线性 最 优化 问题 : 


min ux; 
st. Qr-A'v-u= -ce, Cll 
Ax =b, 
u>=0,x>=0. 
天 
设 | 了 | 是 问题 (11.3. 3) 的 全 局 极 小 点 , 若 满 足 z=0, 则 其 中 的 必 为 问题 
五 


(11.3.1) 的 全 局 极 小 点 . 因此 ,问题 归结 为 求 问题 (11. 3. 3 ) 的 全 局 极 小 点 . 
为 了 使 所 有 变量 都 非 负 , 令 v=v”-v , 则 问题 (11.3.3) 中 的 前 两 个 约束 
条 件 成 为 


x 


| | 了 -[ |， (11.3.4) 


u 
后 两 个 约束 条 件 成 为 
x=0,u'>=>0,u =0,x=0. 全 和 二 
为 了 求 问题 (11. 3. 3 ) 的 全 局 极 小 点 ,我们 先 求 (11.3.4) 满 足 式 (11.3.5) 的 
基本 解 ,为 此 特 引 入 人 工 变量 y. 具体 步骤 如 下 : 
(1) 先 用 单纯 形 法 的 两 阶段 法 求 得 满足 
Axr=b,x=0 
的 解 . 将 4 分 解 为 4=(B,N) ,其 中 B 为 可 行 基 , 所 得 解 的 基 变 量 记 为 xs, 非 基 
变量 xw =0. 
(2) 确定 对 角 阵 EE=( Aj6,) ,其 中 Aj 为 1 或 -1,6, 满 足 
1, i=j, 
5 i#j 
其 意义 是 在 式 (11.3.4) 中 引入 人 工 变量 y 后 得 到 
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加 


Fe 


4 0 0 0 
ls -47 47 -1 


(11.3.6) 


且 当 x 用 (1) 中 求 得 的 解 代入 时 , 若 v” =v =u=0 , 则 必 有 ?>0. 将 @ 分 解 为 


Q=(Q;,Qr) , 则 EE 应 满足 
Qaxrs+Ey= -ce, 
且 其 中 的 人 工 变量 y=(y,,y,，,…,y,)" 非 负 . 
记 Qu 中 的 列 向 量 依次 为 g,,9;,… ,4，, 则 式 (11.3.7) 等 价 于 
Am = -c+qg re) ,j=1,2,,n. 
因此 ,E 中 Ai 的 选取 规则 为 
| -1, c+gqxs>0, 


1， 否则 . 
(3) 在 约束 (11. 3. 6) 和 约束 


x>0,v° >0,v >0,u>0,y>0,u'x=0 


下 极 小 化 线性 目标 函数 站 y。 


《二 3 


(11.3.8) 


对 于 上 述 线性 规划 问题 , 极 小 化 可 采用 单纯 形 法 . 但 必须 注意 ,进行 旋转 变 


换 时 要 求 wx =0, 即 当 某 个 * >0 时 ,w 不 允许 进入 基 变 量 . 旋转 变换 直到 2 入 
= 0 时 结束 ,此 时 得 到 的 三 即 为 二 次 凸 规划 问题 (11. 3. 1 ) 的 全 局 极 小 点 . 


例 11.3.1 用 Wolfe 算法 求解 二 次 凸 规划 问题 
min f= -2x 一 za +x?; 
Ss.t. 2x +3x, +xy =6， 
2x, + za +24 =5, 
二 区 ,人 
解 易 知 
2 0 0 -2 
0 0 0 0 -1 
2-oooo “ol 
0 0 0 0 0 
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首先 确定 hx =b,x>=0 的 一 个 解 ,显然 可 取 
x (1,0,0)， 
再 确定 已 = (Al5,). 由 于 


-2] [2 0 1 
c+Qpsx ey 网 9 = = 
ei oo0olilio 
0 0 0 0 
因此 A, = -1,4, =A, =A,=1, 从 而 
-1000 
gl 100 
0 010 
0 001 


下 面 利 用 单纯 形 法 在 约束 (11.3.6) 和 (11.3.8) 下 极 小 化 目标 函数 > = 
2, 7 表 11.3.1 中 给 出 了 初始 数据 ,为 了 得 到 初始 单纯 形 表 , 表 11.3.1 的 最 后 
一 行 对 应 于 目标 函数 z 中 变量 系数 的 相反 数 . 


表 11.3.1 例 11.3.1 初始 数据 表 


ee 有 站- 梅 | 


x | 2 3 1 oIl0lolololololololololo 0 6 


* | 2 1 0 1 o0lololololololololololo 4 


经 过 初等 行 变换 得 到 以 x, ,za ,yi ,y; ,y; ,Y。 为 基 变量 的 初始 单纯 形 表 11. 3. 2. 
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表 11.3.2 例 11.3.1 第 一 轮 选 代 后 的 初始 单纯 形 表 
ey el I 一 re ER 


wx ”| 


1| 3 3 
2 1 0 ra 0 0 0 0 0 | 0 0 0 0 0 0 0 本 
2 0 1 于 - 习 0 0 0 0 0 0 0 0 0 0 0 0 1 
no 二 |212|-2-21jolololiliololol! 
2 0 0 0 0 -3| -1! 3 1 0 -1| 0 0 0 1 0 0 1 


nlololololol-ilolilololol-iolololilo 
:|olo|- 忆 三 -zol2zlolll---lolololol-: 
本 | 了 列 由 


由 于 vi 对 应 的 检验 数 2 最 大 ,因此 以 w 为 进 基 变 量 ,y, 为 离 基 变量 ,进行 
15 ,7| 旋 转变 换 ,得 到 单纯 形 表 11. 3. 3. 


表 11.3.3 例 11.3.1 第 二 轮 和 迭代 后 的 单纯 形 表 


ww 


yx |0|10|10 


zjo|o|- 寺 六 |o lolololil-! 
We PE SN 1 EY AE 4 


现在 是 x 对 应 的 检验 数 最 大 , 故 以 x, 为 进 基 变 量 ,y, 为 离 基 变 量 ,进行 13， 
41 旋 转变 换 , 得 到 单纯 形 表 11. 3. 4. 
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表 11.3.4 例 11.3.1 第 三 轮 和 迭代 后 的 单纯 形 表 


由 于 w 对 应 的 检验 数 最 大 ,因此 以 u, 为 进 基 变量 ,y: 为 离 基 变 和 量 ,进行 14， 
111 旋 转变 换 ,得 到 单纯 形 表 11. 3. 5. 


表 11.3.5 例 11.3.1 第 四 轮 和 迭代 后 的 单纯 形 表 


到 和 | 和 | 二 Ww | 2 Fs Nr | 

1 1 1 2 

“lilololo 1010 | 可 I- 相 0。0|3 
1 2 1 2 14 

a|0l1| 有 lo -TololFls|l lo 
1 | 4 12 14 10 
ao|o|- 引 1 slolo ls|lolols 
站 1 1 

wolololo - 引 110|0|3|-!1lo0|3 
1 1 1 

wliolololo - 引 "o olo 地 |o|o15 
nlololololol-ilolilololol-ilolololilo 


从 表 11.3.5 右 下 角 的 数值 知 ,此 时 目标 函数 


因此 ,该 二 次 凸 规划 问题 的 全 局 极 小 点 为 
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3 0 
最 后 ,我 们 给 出 下 面 的 重要 结论 . 
定理 11.3.1 若 问题 (11.3.1) 中 二 次 目标 函数 的 Hesse 矩阵 8 是 正定 的 ， 
则 用 Wolfe 算法 必 可 求 得 其 全 局 极 小 点 , 即 在 zx =0 条 件 下 用 单纯 形 法 求解 问 
题 


min{ Sy 1 (11.3.6) 式 ,(11.3.8) 式 } 


时 , 必 能 使 y= 0. 0 


一 般 来 说 , 当 Q 是 半 正 定 阵 时 ,Wolfe 算法 有 失败 的 可 能 . 这 时 ,可 将 主 对 角 
线 上 的 元 素 作 微小 扰动 ,以 Q + sl(s >0 很 小 ) 取 代 Q 后 ,再 利用 Wolfe 算法 . 


11.4 Lemke 算法 


上 一 节 介绍 的 Wolfe 算法 是 最 早出 现 的 利用 单纯 形 法 求解 二 次 规划 的 方 
法 ,本 节 将 要 介绍 的 Lemke 算法 是 利用 单纯 形 法 求解 二 次 规划 的 另 一 种 方法 . 其 
基本 思想 是 :把 线性 规划 中 的 单纯 形 法 加 以 适当 修改 ,再 用 来 求 二 次 规划 的 K - 
T 点 . 

考虑 二 次 规划 问题 


min f(x) = 了 Or +cTri 


s.t. Axr>=b, 人 


x>0. 
其 中 QeR"* 且 对 称 ,c e R",b eR",A eR"”, 不 妨 设 rank4 =m. 
引入 乘 子 & 和 v, 定 义 Lagrange 函数 
L(xsu,v) =/(x) -u' (Ar-b) -vx, 
引入 松弛 变量 (向 量 )?>0, 使 
4r -y=b, 
由 定理 3.3.4 知 ,问题 (11.4.1) 的 K-T 条 件 为 
Or -4 -um= -ec， 
Ax -y=b, 
vx=0, (11.4.2) 
zy =0， 


u>=0,v>=0,r>=0. 
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四， 四， =[ 引 


这 里 weR"'",zeR",geR"*" 和 MeR"* xm. 则 (11.4.2) 式 的 矩阵 表示 
形式 为 


w—Mz=g, 
[os (11.4.3) 
及 
w'z =0. (11.4.4) 


求 满足 (11. 4 3) 式 和 (11.4.4) 式 的 解 | | 的 问题 称 为 线性 互补 问题 (linear 


complementary problem ) ,简称 为 LCP,(11.4.4) 式 称 为 互补 条 件 (complementary 
condition). 显然 (11. 4.4) 式 等 价 于 
wz =0(j=1,2,° ,m+n). (11.4.4a) 


设 | ”| 是 线性 互补 问题 的 -个 解 , 则 由 式 (11.4.4a) 知 ,其 2(m+n) 个 分 量 中 至 


省 有 m+n 个 分 量 等 于 0, 而 且 每 个 互补 变量 对 (w,,z,) 中 至 少 有 一 个 变量 取 零 
值 . 这 就 是 下 面 定义 的 互补 基本 可 行 解 (complementary basic feasible solution ). 


定义 11.4.1 设 [“] 是 问题 (11.4.3) 的 一 个 基本 可 行 解 , 且 每 个 互补 变 攻 


对 (wj,5) O = 1 + 站 中 只 有 一 个 变量 是 基 变量 , 则 称 | ”| 是 线性 互补 问题 


(11.4.3) 和 (11.4.4a) 的 一 个 互补 基本 可 行 解 ,简称 CBF 解 . 
这 样 , 求 二 次 规划 K -T 点 的 问题 就 转化 为 求 线性 互补 问题 的 CBF 解 . 下 
面 ,介绍 求 CBF 解 的 Lemke 算法 . 分 两 种 情况 讨论 : 


(1) 着 a>0, 则 ["] = [4] 就是 一 个 CBF 解 ; 


(2) q 关 0, 则 引入 人 工 变量 z ,使 式 (11. 4. 3 ) 变 成 


(ro (11.4.5) 


zo 20,w>0,520,=1,. ,m+n. 
w 


其 中 e = (1,1,…,1)" e R"*". 显然 ,车 | z | 是 线性 互补 问题 (11.4.4a) 和 


Zo 
《1.4 5) 的 可 行 解 且 a =0, 则 [ ”| 就是 所 求 的 CBF 解 . 


为 叙述 方便 起 见 ,我 们 先 引 入 准 互 补 基本 可 行 解 (almost complementary basic 
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feasible solution ) 的 概念 . 
w 


定义 11.4.2 设 | z 


是 线性 互补 问题 (11.4.4a) 和 (11.4.5) 的 可 行 解 且 


zo 
满足 

w 
(1) 


z | 是 (11.4.5) 的 基本 可 行 解 ; 


Zo 
(2) 存在 se 11,… ,m+n| ,使 得 w, 和 z 都 不 是 基 变 量 ; 

(3) 每 个 互补 变量 对 (wj,z) (j=1,2,…,m+n,j 关 s) 中 恰 有 一 个 变量 是 基 
w 


变量 且 za 是 基 变 量 , 则 称 | z 


为 线性 互补 问题 (11.4.4a) 和 (11.4.5) 的 准 互补 


zo 
基本 可 行 解 ,简称 ACBF 解 . 
下 面 , 用 单纯 形 法 求 ACBF 解 . 
首先 , 若 令 
zo=max{ -qlj=1,2, ,m+n}= -g,>0, 
z=0, w=qg-g,e>0, 
w 
则 


z 


是 一 个 ACBF 解 ,其 中 w,(j 关 s) 和 zo 是 基 变 量 , 其 余 变量 为 非 基 变量 . 


zo 
w 


以 上 述 | < 


为 初始 解 ,用 单纯 形 法 求 新 的 ACBF 解 ,力图 通过 这 种 方法 迫使 


zo 
zo 变 成 非 基 变量 . 为 保持 可 行 性 ,选择 主 元 时 要 求 遵守 下 面 两 条 规则 : 

(1) 保持 可 行 性 :按照 单纯 形 法 中 的 Danzig 规则 确定 离 基 变量 ; 

(2) 保持 准 互补 性 : 若 wj( 或 5) 离 基 , 则 zs( 或 zw) 进 基 . 

这 样 将 实现 从 一 个 ACBF 解 到 另 一 个 ACBF 解 的 转换 ,直至 得 到 一 个 CBF 
解 , 即 zo 变 成 非 基 变量 ,或 者 判定 由 约束 (11. 4. 4a) 和 (11.4.5) 所 定义 的 可 行 域 
无 界 . 

下 面 ,给 出 求 CBF 解 的 Lemke 算法 的 具体 步骤 . 

算法 11 -2(Lemke 算法 ) 


Step 1 车 4>0, 则 停止 计算 ,| "| = [a 是 CBF 解 ;否则 ,用 类 似 于 单纯 形 
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表 的 表格 形式 表示 出 式 (11.4.5) 中 的 第 一 个 约束 . 记 

-gq,=max| -gq;|j=1,.…… ,m+n}, 
取 第 ;行为 主 行 ,z 对 应 的 列 为 主 列 , 将 z。 换 入 基 变量 取代 w,, 对 初始 表 进 行 旋 
转变 换 后 得 新 表 并 令 y, =z,, 转 Step 2. 

Step 2 设 当前 表 中 变量 y, 即 变量 z, 下 面 的 列 为 d,, 若 d,<0, 则 停止 计算 ， 

得 到 问题 (11. 4. 5) 的 可 行 域 的 极 方向 ;否则 , 按 最 小 比值 规则 确定 指标 ,使 
ii 
苔 = 人 芒 
其 中 p 为 当前 表格 中 右 端 第 /个 元 素 , 即 第 / 个 基 变量 的 当前 值 , 必 ”为 向 量 d， 
的 第 /个 分 量 , 若 第 r 行 对 应 的 基 变量 为 ma , 则 转 Step 4; 否 则 , 转 Step 3. 

Step 3 这 时 第 r 行 的 基 变 量 为 w 或 z,(1zs) ,将 该 基 变量 作为 离 基 变量 ,y， 
作为 进 基 变量 ,进行 旋转 变换 后 得 新 表 . 若 离 基 变 量 是 w,, 则 令 y, =z; 若 离 基 变 
量 是 z，, 则 令 y =z, 转 Step 2. 

Step4 这 时 ,变量 y, 进 基 , 变 量 z 出 基 , 进 行 旋转 变换 后 ,所 得 新 表 中 z 为 
非 基 变量 ,停止 计算 ,得 到 一 个 CBF 解 . 

例 11.4.1 用 Lemke 算法 求解 例 11.2. 1 

玉 f(x) =x? -zx +2xz3 一 xi -10x,; 


由 >0,j=1,.…,m + 中 


s.t， -3x,-2x,> -6， (11.4.6) 
X10,x, >0. 
解 易 知 
2 -1 -1 
2-| -， lL =| 4=(-3 =2) ;b= -6， 
hs = 
m=[2 s | 4 站 [| 
43 2 0 6 
相应 的 线性 互补 问题 为 
Wi -2z + 和 -3u = -1， 
wa +xi -4x -2u = -10， 
ua +3xi +2x, =6， (11.4.7) 


Wi ,Was Wy ,xx 二 0， 


ax = Wax = wal =0. 


引入 人 工 变量 z。 ,建立 表 11. 4. 1. 
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表 11.4.1 例 11.4.1 的 初始 表 


ao w, ws x 记 u oo 

ww 1 0 0 -2 1 -3 -1 -1 
wa 0 1 0 1 -4 -2 a -10 
ws 0 0 1 3 2 0 -1 6 


因 max{ -gj|1<j<3}=10= -gq,, 故 选 w, 出 基 , 而 z。 进 基 , 旋 转变 换 后 得 
表 11.4.2. 


表 11.4.2 例 11.4.1 选 代 一 次 的 表 


Ww 1 -1 0 3 5 -1 0 9 
20 0 -1 0 -1 4 2 1 10 
Wy 0 -1 1 2 6 2 0 | 16 


令 y =za =z, 由 于 由 =(5,4,6)7 坟 0， 故 求 出 
p, 19 10 161 9 _pP 
RN 5'4'6}-3 网 
即 上 =1, 选 第 一 行 的 基 变 量 w, 出 基 ,y, =x, 进 基 ,旋转 变换 后 得 表 11. 4. 3. 


表 11.4.3 例 11.4.1 选 代 二 次 的 表 


令 y,=z1=xi, 此 时 r=3, 选 第 三 行 的 基 变 量 w, 出 基 ,y, =x, 进 基 , 旋 转变 换 
后 得 表 11. 4.4. 
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表 11.4.4 例 11.4.1 选 代 三 次 的 单纯 形 表 


bd] Ww Wy 3 x u zo 
是 5 3 1 33 
14 “28 28 3 和 14 
要 EL rs 。 3 
am 二 村 中 0 0 2 1 
1 4 13 
的 14 28 28 EE 上 7 9 14 


令 y,=z=4, 此 时 r=2, 选 第 二 行 的 基 变 量 z 出 基 ,y, =w 进 基 , 旋 转变 换 后 
得 表 11.4.5. 


表 11.4.5 例 11.4.1 选 代 四 次 的 单纯 形 表 


ww ww aa 到 4 as 
3 9 1 9 

x 28 7 E73 0 1 0 3 党 
1 1 1 1 ] 
> 外 2 4 
1 3 ed 2 1 

a -14 38 4 4 a 0 Bra ey 


此 时 ,aa 为 非 基 变量 ,za = 0, 即 得 到 线性 互补 问题 (11. 4.7) 的 CBF 解 ， 
Cssosavasr=(00.0 二 号 汪 ) 


故 二 次 规划 问题 (11.4.6) 的 K-T 点 


1 9 
(mm) = (714 
又 问题 (11. 4. 6) 为 凸 规划 ,因此 ,其 K -T 点 就 是 全 局 极 小 点 . 0 


从 Lemke 算法 的 迭代 过 程 和 本 例 可 以 看 出 ,尽管 Lemke 算法 很 像 线性 规划 
的 单纯 形 法 ,但 它 的 换 基 原 则 实际 上 更 为 简单 . 


11.5 制 平 面 法 


前 面 几 节 主 要 讨论 了 二 次 规划 的 性 质 和 算法 ,众所周知 二 次 凸 规划 在 二 次 
规划 中 占有 很 重要 的 地 位 ,很 多 算法 对 于 二 次 凸 规划 更 容易 实现 . 为 此 ,本 节 将 
介绍 一 种 常用 的 求解 凸 规划 问题 的 方法 一 一 割 平面 法 ( cutting plane method). 

割 平面 法 是 由 Kelley(1959) 和 Cheney, Coidstenin (1959 ) 独立 提出 的 ,也 称 
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为 KCG 法 . 其 基本 原理 是 将 凸 规划 的 可 行 解 集合 用 有 限 个 半空 间 来 近似 ,并 求 
解 一 系列 不 断 改进 的 线性 规划 ,它们 的 全 局 极 小 点 收敛 于 原 凸 规划 问题 的 全 局 
极 小 点 . 
考虑 凸 规划 问题 
min f(x); 
人 g(x)>0, i=1,2,.…,m, (1H:3.4) 
其 中 f(x) 为 R" 上 可 微 的 凸 函 数 ,g,(x) (i=1,…,m) 是 R" 上 可 微 的 凹 函数 , 则 
(11.5.1) 式 等 价 于 
min 2; 
st. z-f(x)>0, 
g(x) 0,i=1,2,.,m. 
这 里 z~/(x) 是 R" 上 的 凹 函数 . 不 失 一 般 性 ,考虑 问题 
min f(x)=c™x; 
二 gi(x) 0,i=1,2,.,m, 


(11.5.2) 


这 里 ce R",g,(x) (i=1,2,…,m) 是 可 微 的 四 函数 . 问题 的 可 行 域 记 作 
S=|x|g(x)>0,i=1,2,…,m}, 
根据 例 2.4.3,5 为 凸 集 . 

割 平面 法 的 关键 就 是 要 用 多 胞 形 取代 可 行 域 ,并 在 多 胞 形 上 极 小 化 目标 
函数 crx. 因此 首先 给 定 一 组 线性 约束 ,确定 一 个 多 胞 形 5, ,使 得 SS 5, ,然后 解 
线性 规划 问题 

min cx; 
人 xeS,. C5 
设 问 题 (11. 5.3) 的 全 局 极 小 点 为 x, ,在 x, 处 将 问题 (11.5.2) 中 具有 最 小 约束 
函数 值 的 约束 线性 化 , 即 当 
B(x1) =min{gi(x1) |i=1,2,,m} 
时 ,将 约束 g,(x) =0 线性 化 ,并 把 线性 化 后 的 约束 
g(x1) +V g(x) (x -x )>0 
加 入 上 述 确 定 多 胞 形 5, 的 线性 约束 组 中 ,构成 一 组 新 的 线性 约束 ,从 而 可 确定 
一 个 新 的 多 胞 形 5; ,再 解 线性 规划 问题 
min Cx; 
bs es (11.5.4) 
这 时 , 必 有 5, ES， 
另外 ,由 于 &,(x) 是 四 函数 ,因此 
g(x) <g(x) +V E(x) (x-x), 
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从 而 满足 约束 g,(x) >=0 的 点 x 必 使 得 
B(xK1) + VB,(x) (x -x,)>0, 

于 是 ,SC5,. 

求 得 问题 (11. 5.4) 的 全 局 极 小 点 x, 后 ,重复 上 述 步 又 , 则 可 构造 出 一 系列 
多 胞 形 

SCS, IE…CES:ES， 

且 SCS5,(i=1,2,…,k). 随 着 上 不 断 增 大 ,线性 规划 的 可 行 域 5, 将 越 来 越 逼 近 
原 凸 规划 问题 的 可 行 域 S, 并 且 求 解 这 一 系列 线性 规划 问题 将 产生 全 局 极 小 点 
序列 | zi , 则 序列 x,| 与 名 规划 问题 (11.5.2) 的 全 局 极 小 点 之 间 存 在 如 下 
关系 . 

定理 11.5.1 设 凸 规划 问题 (11. 5.2) 满 足 

(1) g(x) (i=1,2,…,m) 为 连续 可 微 的 思 函 数 ; 

(2) 迭代 步骤 中 确定 的 一 系列 线性 规划 问题 

min cx; 
下 t. xeS, 

的 全 局 极 小 点 x, 均 存 在 , 则 有 

(1) 若 存在 某 个 上 使 ze 5S, 则 x 即 为 问题 (11. 5.2) 的 全 局 极 小 点 ; 

(2) 若 情形 (1) 总 不 发 生 , 则 序列 1x,| 的 任意 极限 点 都 是 问题 (11.5.2) 的 
全 局 极 小 点 . 

证 明 (1) 若 存在 某 个 上 使 zeS, 又 SSS, 且 为 S 中 目标 函数 crx 的 
全 局 极 小 点 , 故 知 x, 为 $ 中 c"x 的 全 局 极 小 点 , 即 问题 (11.5.2) 的 全 局 极 小 点 . 

(2) 由 5, 的 构造 知 ,SC 5,,, C5,, 因 此 


Pe T Es } 
min cx min cx=C x,,, mincx = x,. 
ss se So seS, 


证 


I= |ilg(x)>0,1<ism|, 
7=1ilg(x,) <0,1<ism!, 
并 设 
limx, = 工 ， 
由 &(x) 的 连续 性 知 , 必 有 
(i) g(x) = limg,(x,) >0,iel. 
(ii) 当 ie17 且 r>1 时 ,有 
BX) + 加 gt) (Xi,, -Xi) >0, 


x = lim x, = limx,,,. 
bi 


“se 


因此 ,对 于 任意 ie7, 由 g,(x,) 的 连续 可 微 性 即 知 ,V g,(x,) 有 界 , 从 而 
gi(x) =limg(xi) =lim[g (x) +V ei(xi) (x,, -x)] >0,iel. 
综合 (i) ii) 可知 ,ze 5. 
又 对 于 任意 可 行 点 xe5, 因 SCS,, 故 c'x>c'x,, 从 而 
cx> lime™x, =C'X. 
由 此 可 知 ,x 是 凸 规划 问题 (11. 5.2) 的 全 局 极 小 点 . 0 
从 计算 角度 来 看 ,用 割 平面 法 求解 一 系列 线性 规划 问题 时 ,目标 函数 始终 不 
变 ,线性 约束 每 次 增加 一 个 ,因此 可 用 对 偶 单 纯 形 法 求解 . 当 约束 每 次 增加 一 个 
时 ,只 要 在 前 一 个 线性 规划 问题 的 最 优 单纯 形 表 上 添加 一 行 ,经 过 几 次 旋转 变 
换 , 很 快 就 可 获得 新 的 线性 规划 问题 的 全 局 极 小 点 . 割 平面 法 具体 步 又 如 下 : 
算法 11 -3( 庆 平面 法 ) 
Step 1 选取 初始 数据 . 给 定 初始 多 胞 形 
S, =lrl4rr -pb>0l， 
使 得 SES, 且 目 标 函 数 cx 在 S 上 有 界 , 设 允许 误差 为 e>0, 令 上 =1. 
Step 2 ”求解 线性 规划 问题 . 求解 问题 
min cx; 
人 xeS,, 
设 其 全 局 极 小 点 为 x 
Step 3 ”寻找 x 处 的 最 小 约束 函数 . 确定 下 标 i(1<i<m) ,满足 
EC) =imin&i(z)， 
若 存在 多 个 , 任 选 其 一 . 
Step 4 检验 是 否 满足 判别 准则 . 若 
BT) > 一 e， 
则 停止 计算 ,zk 即 为 原 凸 规划 问题 的 近似 全 局 极 小 点 ;否则 , 令 
So =SN {|x|g (x) +V gx) (x-x,)>0|, 
置 h:=k+1, 返 回 Step 2. 
值得 注意 的 是 ,算法 的 Stepl 中 要 选取 包含 5 在 内 的 初始 多 胞 形 5, ,一 般 可 
采用 以 下 两 种 方法 : 
(1) 选取 较 简单 的 多 胞 形 5,( 比如 充分 大 的 超 立方 体 ) 包含 5, 使 所 得 线性 
规划 问题 有 解 且 易 求解 ; 
(2) 若 对 可 行 域 5 的 大 小 难以 估计 ,可 先 在 S 中 任 选 一 点 ze ,在 x。 处 对 所 
有 g(x) 利用 Taylor 展开 式 可 得 
B(x) g(x0) + Vg (xo) (x -x0) ,i=1,2,.,m. 
再 取 
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Si={x|g(xo) +V g(xo) (rro)>0E=12 ml， 
易 证 SCS,. 
例 11.5.1 求解 凸 规划 问题 
min f(x) =2x +xz2i 
| 4-(xzi -3)’ -(x, -2)2>0， (11.5.5) 
2 一 (xl -3)’>0. 
解 由 g(x)=0 知 ,|x, -3|<2,|x,-2|<2, 即 1<x,<5,0<x,<4 
故 取 
S11=|1(x,x)" |0<x, <5,0<x,<4). 
显然 ,SES,. 
解 线性 规划 问题 
min f(x) =2x +x,; 


s.t. 0O<x,<5, 


0<x,<4. 
用 单纯 形 法 或 图 解法 可 求 得 其 全 局 极 小 点 为 x, = (0,0)". 
由 于 g(x1) = -9,8;(x1) = -9, 因 此 任 取 其 一 , 令 i =2, 并 将 g,(x) 在 点 
xi 处 线性 化 , 即 
B2(X)~6x, +x, -9. 
令 5,=51N 1(xi,x2)"|6x, +x, -9>0| , 解 线性 规划 问题 
fe f(x) =2x, +x2; 


s.t. xeS,. 


用 对 侦 单 纯 形 法 求 得 其 全 局 极 小 点 为 x = { 瑟 ,0] . 


因 Bi(xs) = -年 ,82(x) = - 卫 , 故 仍 取 己 =2, 并 将 gs(x*) 在 点 x 处 线性 
化 , 即 


27 
Bi(X) ~=3x 二 22 = 不 


全 S -Sn (ama)7|3m + -加 >=0], 解 线性 规划 问题 


min f(x) =2x, +x,; 
i xeS,. 


用 对 偶 单 纯 形 法 求 得 其 全 局 极 小 点 为 = 2 ,0] . 


“313 


由 于 B(x，) = -总 ,gs(x，) = - 言 ,因此 仍 取 避 =2, 并 将 gs(x) 在 点 处 
线性 化 , 即 
Ba) +t 


人 SS,=5,N {Cm)" 


3 +m -各 >0], 解 线性 规划 问 是 
| 全 f(x) =2x, +x2; 


Ss.t. xeS,, 


其 全 局 极 小 点 为 x。 = | 宇 


二 号 .3 此 时 x, 已 接近 问题 (11. 5.4) 的 全 局 极 小 点 下 = 


(2,07，7(ze) = 次 也 接近 目标 函数 的 最 优 值 /() =5. 若 需 得 到 更 精确 的 近似 


全 局 极 小 点 ,可 仿照 上 述 方法 继续 和 迭代 下 去 . 0 

割 平面 法 是 求解 凸 规划 问题 最 早 的 方法 之 一 ,由 于 简单 易 行 、 比 较 直 观 , 因 
此 在 实际 工作 中 得 到 了 广泛 使 用 . 但 在 迭代 中 , 当 上 充分 大 时 ,势必 得 到 一 个 庞 
大 的 线性 不 等 式 约束 组 ,这 给 相应 的 线性 规划 问题 的 求解 带 来 了 困难 . 


习题 十 一 


1. 求 下 述 二 次 规划 问题 的 全 局 极 小 点 王 及 相应 的 Lagrange 乘 子 5: 
人 2x2 + Ax + 5x3s 


St 3xi + 4x: = 13. 
2. 用 直接 消去 法 和 广义 消去 法 求解 下 列 问题 : 

min 2x3 + x2 + xXx) 一 Xi 一 za 
(1) | 


St 


i 
"| AR 
st XI + 2x+ x = 4. 
3. 用 起 作用 集 法 求解 二 次 凸 规划 问题 ( 取 初 始 可 行 点 *, = (0,0)") ; 
min 9x? + 9x3 -30x, -72x,; 
ol -2x + x -4， 
x1 >0,x,>0. 
min 2 rx + 3 
(2) | -xi -x -2， 
x1 0,x,>0. 
4. 用 Wolfe 算法 求解 问题 : 
CE 


min f(x) = x + r+ x 2x rs 
St 2x+ama-4=0， 
5x, -x -7 = 0, 
x1 >0,x, >0,5 >0. 
5. 用 Lemke 算法 求解 下 列 问 题 : 


min 2x? + x —2x,x, — 6x, -2x,; 


Sst. -x,-%,+ 2>0, 
(1) 
-2x + x + 2>0, 
xi >0,x, >0. 
min 2x? + 2x + 23 + 2xx, + 2xixz 一 8x — 6x); 
(2) st -x -x -x + 3>0, 


X10,x; 0,x, 三 0. 
6. 对 于 凸 规划 问题 
min x -xi 


st 25-x! -对 >0， 


2x +x, -1>0， 


从 S =1(zm) | -5<xi<s5,-5<xs5| 出 发 ,利用 割 平面 法 求 欠 代 点 列 中 的 xi ,xz 和 xz 
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第 十 二 章 ”线性 分 式 规划 


线性 分 式 规划 是 非 线性 规划 的 一 个 特殊 类 型 ,其 目标 函数 是 两 个 线性 函数 
之 比 ,而 约束 是 线性 约束 . 正如 在 第 一 章 所 看 到 的 那样 , 它 有 着 广泛 的 实际 背景 . 
在 这 一 章 里 ,我 们 要 针对 线性 分 式 规划 ( 简 记 为 LFP) 的 特点 ,建立 求解 (LFP) 的 
一 些 特别 的 算法 . 


12.1 原始 单纯 形 法 


考虑 线性 分 式 规划 (LFP) 问 题 
PE+a 


min f(x) = a +p’ 


(12.1.1) 
Bt. Ar = 是 


x>=0, 

其 中 AeR"*",beR",p,g,xeR",a,BeR,rank A=m. 记 S=|x|Ax=b,x>0| 
为 问题 (12. 1. 1) 的 可 行 解 集 , 假 定 

(1) qx+B>0,Vxes; 

(2) 5 是 R" 中 的 非 空 有 界 集 ， 
称 满足 假设 条 件 (1) (2) 的 LFP 为 简单 问题 . 易 知 ,LFP 简单 问题 必 有 最 优 解 . 

本 章 只 研究 LFP 简单 问题 . 

定理 12.1.1 LFP 在 多 面体 5 的 极点 上 取 到 最 优 解 . 

证 明 设 y,y,,…,y, 为 5 的 全 部 极点 ,由 多 面体 表示 定理 ( 即 推 论 2.2.6) 
可 知 , 对 任意 xe5, 有 

xz = 7 ay, 


其 中 >0,i=1,2,…,s, 》 as =1. 
各 


u(x) =pIz+ain(z) =gr+B， 《1 到 到 2 
f (yi) =min{ f(y.) |i=1,2,.…,s|, 
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则 有 

uy) vy) Soy) uy) ,i=1,2,.,s. 
上 式 两 边 同 乘 以 a, >0,i=1,2,…,s, 并 把 它们 相 加 得 

u(y:) Yar) < v(y1) Pa). (12.1.3) 
注意 到 4(y,) =p'y;+a,v(y;) =g'y,+B,i=1,2,…,s, 则 有 


Darl) =p (Day) + al De) =p'x+a = u(x), 
以 及 
> awly.) = gx +B = v(x). 
将 以 上 两 式 代 人 (12. 1.3) 式 得 
uy)v(x) Soy ) u(r), 
即 有 


uy) u(x) 
wp) w(x) 


亦 即 
f(y1) </(x), Yres, 

因此 ,y, 是 问题 (12. 1. 1) 的 最 优 解 . 0 

根据 这 一 定理 ,可 以 从 LFP 的 可 行 域 的 极点 上 寻找 LFP 的 最 优 解 . 这 样 ,我 
们 可 以 从 一 个 极点 出 发 ,利用 线性 规划 单纯 形 迭 代 程 序 移动 到 另 一 个 极点 ,最 后 
求 得 最 优 解 . 

设 B 为 一 可 行 基 ,4 =(B,N), 则 将 

xs =B"'b-BNxe, (12.1.4) 

代入 (12. 1.2) 式 得 


u(x) = Paxs 十 忆 NXN + a 


= (PaB 六 +a) - (PsB N -PN)xznw， (12.1.5) 
v(x) = gaxa + prxy +B 
= (gsB"'b +B) - (gsB“'N - gq)xn. (12.1.6) 


记 zxe =(%,%,，…,%,)' ,用 RR 表示 非 基 变量 指标 集 , 把 (12.1.4)、(12.1.5) 和 
(12. 1.6) 三 式 相 应 地 写成 


和 + bs = basi = 1,2,,m, (12.1.4a) 
廊 

Wt 2 ug = uo, (12.1.5a) 

V+ > om = vo (12.1.6a) 


了 
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uo — > do 
六 rr 
wo — D9 
fk 
和 D0 = bi = 1,2,.,m, 
大 


为 LFP 的 典 式 . 记 
vouw -uov,, jeR, 
T= (12.1.7) 
| 0， jel{l,2,. ,nl \R, 
我 们 得 到 如 下 最 优 性 定理 . 
定理 12.1.2 对 可 行 基 B, 若 所 有 7,<0,je 怀 , 则 对 应 的 基本 可 行 解 区 : 
= bo(i =1,2,,m) ,zs = 0(j e R) 
为 (LFP) 的 最 优 解 . 
证 明 对 任意 xe5, 有 


vou(x) -uv(x) = vo(uo 一 5) -uo(vo — Dv%,) 


站 


=- 5 (vu - uowv,)x, =- DT 
车 <0,jeR, 则 由 上 式 得 
vou(x) -uov(x) > 0， 
即 有 


u(x) u(x) _ Wo 
四 


(x) > 0B) Tw 


e 


即 
f(x)>/(x),Vres, 
所 以 为 LFP 的 最 优 解 . 0 
称 7 为 变量 关于 可 行 基 B 的 检验 数 . 称 
m0,j=1,2, on 
为 LFP 的 最 优 性 条 件 . 
当 某 个 my >0 时 ,可 以 借助 于 类 似 于 线性 规划 的 原始 单纯 形 法 来 修改 基本 
可 行 解 . 让 x 进 基 ,由 
六 =0=min| 欠 ba >0,1=1,2,,m] (12.1.8) 
确定 x 为 离 基 变量 : 从 


+ 2 = bo 
所 


3s 


式 中 解 出 x% ,并 代入 (12.1.4a) (12. 1.5a) 和 (12. 1. 6a) 式 中 得 


人 本 
对 应 的 基本 可 行 解 工 
~ _ bo 、 bo 3 
0 bo -bab -Obasie 1,2, ,mi Nirl， 
=0,jeR=(R\Ik) U1, (12.1.9) 
对 应 的 目标 函数 值 为 


0 es (12.1.10) 
Vo- mo 
这 一 迭代 步骤 可 在 类 似 于 线性 规划 的 单纯 形 表 12. 1. 1 上 进行 . 与 线性 规划 
单纯 形 表 不 同 的 是 ,这 里 按 (12.1.5a) (12.1.6a) 添 加 了 两 行 , 称 为 目标 行 . 基 
变量 所 在 行为 约束 行 ,最 后 一 行为 检验 行 . 迭代 时 ,以 如 为 主 元 ,对 约束 行 和 目 
标 行 作 旋 转变 换 ,但 检验 行 中 的 检验 数 要 按 (12. 1.7) 式 计算 . 


表 12.1.1 原始 单纯 形 法 选 代表 格 样式 


hn a 2 区 (jeR) 
二 1 思 0 by bu 
se 0 可 4 bo 
a 3 
u 0 ~ 0 wu uo 
也 0 0 切 vo 
了 0 0 T) = vou, ~ uov) uo/ vo 
i 


下 面 我 们 证 明 , 当 re >0 时 ,通过 一 次 迭代 到 达 另 一 极点 ,目标 数值 有 所 下 降 . 
引 理 12.1.3 当 m>0 时 ,至 少 存在 一 个 re 11,2,…,m| ,使 得 
b>0. 
证 明 用 反 证 法 . 若 不 然 ,对 一 切 ie {1,2,…,m| ,都 有 bs <0, 那 么 , 任 取 数 
6 >0, 按 (12.1.4a) 作 一 区 别 于 基本 可 行 解 x 的 新 的 可 行 解 : 
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t=6>0, 
z=0,je Rk, 
和 = bo -bs 0,i=1,2,.,m. 
由 于 对 任意 5>0,x 都 是 LFP 的 可 行 解 ,这 与 假设 5 为 有 界 域 蔬 盾 . 0 
引 理 12. 1.3 保证 ,如 果 rs > 0, 选取 x 为 进 基 变 量 ,那么 一 定 可 以 根据 
(12. 1.8) 式 来 选 出 离 基 变量 %. 
定理 12.1.4 由 一 可 行 基 开始 ,每 经 过 一 次 单纯 形 迭 代 都 得 到 一 个 基本 可 
行 解 , 且 目 标 函 数值 单调 递减 . 
证 明 由 (12.1.8) 及 (12.1.9) 式 易 知 z>0, 故 经 过 一 次 单纯 形 迭 代 后 仍然 
得 到 基本 可 行 解 . 由 (12.1. 10) 式 知 


volo — uoto = Vo( Wo — Qu) -zuo(z — Ovi) 


=- 0(vu, - uv) =-6m <0, 
故 和 之 如 , 即 目 标 机 数值 单调 递 碱 . 特别 ,在 非 退 化 情况 下 ,9 > 0, 目 标 函数 严格 
oD 
单调 递减 0 


算法 12 -1( 原 始 单纯 形 法 ) 

Step 1 ”给 定 一 个 初始 可 行 基 B, 按 表 12.1.1 的 格式 写 出 相应 的 单纯 
形 表 7(B). 

Step 2 ”如 果 所 有 m0,j=1,2,…,n, 则 关于 B 的 可 行 基 为 最 优 解 ,停止 
计算 ;否则 , 转 Step 3. 

Step 3 ”确定 进 基 变 量 . 令 m= max | mi |je RI ,以 x 为 进 基 变量 . 

Step 4 ”确定 离 基 变量 . 由 

By 
2 min{ 弃 
确定 x%, 为 离 基 变量 . 

Step 5 以 如 为 主 元 对 约束 行 和 目标 行 作 旋转 变换 ,并 计算 各 检验 数 , 得 新 
的 单纯 形 表 7( 仿 ) ,以 彦 代替 互 , 转 Step 2. 

在 非 退 化 情况 下 ,算法 从 一 个 极点 移 到 另 一 个 极点 ,目标 函数 每 次 迭代 严格 
单调 递减 ,因而 每 次 产生 的 极点 是 不 同 的 . 由 于 仅仅 存在 有 限 个 极点 ,因此 算法 
在 有 限 步 停 止 . 

在 退化 情况 下 ,算法 可 能 会 出 现 “ 基 循环 ” ,从 而 不 能 在 有 限 步 结束 . 文献 
[10] 给 出 了 这 样 的 例子 并 证 明了 引入 Bland 规则 可 使 算法 在 有 限 步 结束 . 

例 12.1.1 用 线性 分 式 规划 原始 单纯 形 法 求解 下 列 问题 
—2x, +x, +2 
Xi +3x2 +4 : 


ba > 0 = 1,2,,m} 


min 
St. -2 +%2E4, 

C12;1..11) 
x2 <6, 

2x, + x <14, 
x x2 0. 
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解 引入 松弛 变量 x,,x, 和 xs ,我 们 得 到 初始 基本 可 行 解 xm = (0,0,4,6， 
14)". 初始 单纯 形 表 如 表 12. 1. 2 所 示 . 


表 12.1.2 原始 单纯 形 法 初始 单纯 形 表 


x x x x x 

和 < 1 1 0 ee 
x 0 1 0 1 0 6 
| > 1 0 0 1 14 
u 2 -1 0 0 0 2 
v -1 -3 0 0 0 4 
/ 10 2 0 0 0 了 


由 表 12.1.2 知 ,mi = maxim |je Ri, 以 x 为 进 基 变量 ,并 由 e=min{ 呈 ] = 


bso 元 潮 行 i 

训 确定 x, 为 离 基 变 量 , 以 b=2 为 主 元 进行 选 代 , 和 迭代 结果 如 表 12. 1. 3 所 示 . 
在 表 12.1.3 中 ,ms<0J =1,2,…,n, 则 表 12.1.3 已 是 最 优 表 . 从 而 得 到 问题 

(12.1. 11) 的 最 优 解 为 二 = (7,0,11,6,0)7 ,对 应 的 目标 函数 最 优 值 为 了 = - 关 0 


表 12.1.3 ”原始 单纯 形 法 最 优 单 纯 形 表 


1 x x x 区 
1 
加 0 去 1 0 2 11 
x 0 1 0 1 0 6 
| 1 1 
本 1 0 0 2 7 
un 0 -2 0 0 -i -12 
0 2 0 0 二 11 
v 2 oe 7 
1 
了 0 -46 0 0 -5 好 
一 一 一 - 


12.2 Gilmore-Gomory 方法 


Gilmore 和 Gomory 利用 既 约 梯度 于 1963 年 提出 了 一 种 求解 LFP 的 单纯 形 
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法 . 可 以 证 明 ,上 一 节 讲 述 的 原始 单纯 形 法 是 Gilmore 和 Gomory 法 的 简化 . 
定理 12.2.1 设 是 问题 (12.1.1) 的 K-T 点 , 则 于 为 全 局 极 小 点 . 
证 明 对 任意 xe5, 有 

(x+B)p- (px+o)g 
V/(x)= (qTr 1p) 
因为 * 是 K-T 点 ,所 以 它 满足 下 述 K -T 条 件 :存在 向 量 >0 和 向 量 v, 使 得 
V/(i) -A'v-u=0, 
u'x=0, (12.2.2) 


{22. 0 


从 而 Vxe5, 有 
VF)'(x-x) -vA(x-F) -u(x-x) =0. 
注意 到 Ax =b,x>0 及 AF =b, 由 (12.2.2) 式 及 wu>0 得 
V(X) "(x -x) =u'x>0. (12.2.3) 
将 (12.2.1) 式 代入 (12.2.3) 式 并 整理 得 
(q'x+B)(p'x+a)>(g r+B)(p'r+a). 

对 于 LFP 简单 问题 有 

Pt+a > 已 荆 +a 

gx+B qi+B 
即 /(x) 宇 f(x),YVxe5, 因 此 为 全 局 极 小 点 . 0 


在 非 退 化 假设 下 , 设 B 是 问题 (12.1.1) 的 一 个 可 行 枯 ,x = [| 是 -个 非 退 
5 


化 的 基本 可 行 解 ,由 (12.1.5) 和 (12.1.6) 式 容易 得 到 /(x) 的 既 约 梯度 由 下 式 
给 出 : 
一 (5B 'N-py)(q'x+B) +(gsB 'N-gs)(p'x+a) 


的 (qx +B)’ 
由 (9.3.11) 式 并 注意 xw =0 知 ,问题 (12.1.1) 的 K-T 条件 等 价 于 
r(x»)>=0. (12.2.4) 


根据 定理 12. 2. 1,(12.2.4) 式 为 问题 (12.1.1) 的 最 优 性 充分 条 件 . 
当 r(xw) 关 0 时 ,我 们 利用 单纯 形 迭 代 程 序 从 一 个 极点 移 到 另 一 个 极点 ,并 
使 目标 函数 值 有 所 下 降 . 令 
-rm=maxi -r,|r, <0,jeR}, 
其 中 7 是 r(x，) 中 对 应 % 的 分 量 . 以 x, 为 进 基 变 量 . 由 
六 0 in| >0,i=1,2,. ~“m] (12.2.5) 
确定 离 基 变量 x. 正如 引 理 12. 1.3 指出 的 那样 ,如 果 r(xv) 兰 0, 那么 对 于 LFP 
简单 问题 ,总 可 由 (12. 2. 5) 式 选 出 离 基 变量 . 这 样 ,经 过 1k,r} 旋转 变换 ,将 迭代 


d 
点 从 一 个 极点 移 到 了 另 一 个 极点 . 此 时 ,搜索 方向 d = [| 定义 为 


1, j=k, 

0, jeR\ik|. 

容易 验证 d 满足 (9.3.6) 和 (9.3.8) 式 ,因此 d 是 一 个 可 行 下 降 方向 . 这 样 我 们 
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ds=-B ‘Wassds ={ 


就 证 明了 在 非 退化 情况 下 , 按 上 述 单纯 形 迭 代 法 ,迭代 点 从 一 个 极点 移 到 另 一 个 
极点 时 ,目标 函数 值 严格 单调 递减 . 进一步 ,算法 将 在 有 限 步 结束 . 
算法 12 -2( Gilmore 和 Gomory 方法 ) 
Step 1 给 定 一 个 初始 可 行 基 B, 按 表 12.2.1 的 格式 写 出 相应 的 单纯 形 
表 7(B). 
Step 2 计算 r(xw) ,如 果 r(xs) 0, 则 关于 8B 的 基本 可 行 解 为 最 优 解 ， 
停止 计算 ;否则 , 转 Step 3. 
Step 3 ”确定 进 基 变 量 . 令 
-rm =max| -r |r,<0,jeR|, 
以 x 为 进 基 变 量 . 
Step 4 确定 离 基 变量 . 由 
bo fbn 
Bm 
确定 x 为 离 基 变量 . 
Step 5 以 6, 为 主 元 作 旋转 变换 ,得 新 的 可 行 基 唐 ,以 启 代 替 B, 转 Step 2. 
Gilmore 和 Gomory 方法 可 在 如 表 12. 2. 1 所 示 的 单纯 形 表 上 进行 迭代 . 


bs >0,i=1,2,,m] 


表 12.2.1 Gilmore 和 Gomory 方法 选 代表 格 样式 


3 xi 罗 (JER) 
LN 1 0 b, bo 
0 1 0 bo 
0 0 j 


例 12.2.1 用 Gilmore 和 Gomory 方法 求解 问题 (12.1.11). 
解 引入 松弛 变量 x,,x。 和 zx, 我们 得 到 初始 基本 可 行 解 x。= (0,0,4,6， 
14) . 初始 单纯 形 表 如 表 12. 2. 2 所 示 . 


表 12.2.2 Gilmore 和 Gomory 方法 初始 单纯 形 表 


x x 加 x zs 
汤 -1 1 1 0 0 4 
x 0 1 0 1 0 6 
x * 1 0 0 1 14 
过 1 
< 0 0 
5 0 


其 中 gx +p=4.px +a=2YA(ro)=| - 王 ， - 言 ,0.0,0 .由 于 到 ,局 
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列 给 出 B-'N, 故 有 
r(zw) = (nm) = Vosf(x0) - (BN)T Vo, f(xo) 


5 
i 0 站 
人 i 1 
8 ”Ls 
= -以 x 为 进 基 变量 ,由 


9= min 人 全 }= =7 =bs, 
确定 xs 为 离 基 变量 . 这 次 迭代 结果 如 表 12. 2. 3 所 示 . 


由 
wl 一 一 一 
- om 


表 12.2.3 Gilmore 和 Gomory 方法 最 优 单纯 形 表 


区 1 
3 0 2 1 0 元 11 
x 0 1 0 1 0 6 
1 1 
x 1 0 0 全 7 
62 5 A 
9 11 9 121 


当 x, 代替 基 中 xs 时 ,我们 得 到 点 x， = (7,0,11,6,0) ,现今 qx, +B=11， 
px +a= -12, 


_10 47 
Vx) =(- pp ,0,0,0) ， 
3 1 101 「 62 
nm] [和 | | 二 工 到 | | 
rx) = [|= 121|-| ; 1 os 
jlz° 310 I21 
在 表 12.2.3 中 , 因 所 有 >0,je R, 故 x, =(7,0,11,6,0)" 为 最 优 解 . 0 


12.3 Charnes-Cooper 方法 


Charnes 和 Cooper(1962) 提 出 了 一 种 利用 变量 替换 将 线性 分 式 规划 问题 化 
为 线性 规划 问题 来 求解 的 方法 . 令 
1 


gx ET 


则 问题 (12. 1. 1 ) 化 为 
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min py+at; 
st Ay-bi=0, 


q'y+Bt=1, (12.31) 
?了 >=0， 
t=0. 

定理 12.3.1 如 果 ( 多 1) 是 问题 (12.3.1) 的 最 优 解 ,那么 = 卫 是 问题 


(12.1.1) 的 最 优 解 . 

证 明 首先 说 明 , 如 果 (y,t) 是 问题 (12.3. 1) 的 任 一 可 行 解 ,那么 ! >0, 若 不 
然 , 则 :=0, 从 而 ? 关 0,?>0,4?7 =0. 设 x+ 是 问题 (12.3.1) 的 一 个 可 行 解 , 则 对 任 
意 常数 入 >0, 有 

A(x+Ay) =Ar+AAy=b 及 x+Ay>0, 
这 说 明 :x +Aye5, 这 与 5 为 有 界 集 的 假设 矛盾 . 于 是 ,我 们 有 7>0. 

其 次 ,注意 到 4 =b,x>0, 因 而 是 问题 (12.1.1) 的 可 行 解 . 

最 后 证 明 大 的 最 优 性 . 对 任意 xe5, 设 (y,1) 是 问题 (12.3.1) 与 x 相对 应 的 
可 行 解 , 则 

3 Ep 
i gx + gx+p 
因 (5,) 是 问题 (12.3. 1) 的 最 优 解 , 则 
PT7+ai < PTy+at， 
代入 7,y,t 得 
i(p'x+a) < PE+a， 
gx+pB 
由 1=g 了 +Bi=i(g'x+B) 知 
pxita_p'xt+a 
qxr+B gx+pB” 
所 以 二 是 问题 (12.1.1) 的 最 优 解 . 0 
例 12.3.1 用 Charnes-Cooper 方法 求解 问题 (12.1.11) 
解 邻 != 一 汪 一 ,y= 坟 , 则 该 问题 转化 为 如 下 线性 规划 问题 
Xi +3x, +4 
min -2y,+y, +2L; 
st. -y+y -41<0, 
y2 -61<0, 
27, +y; -141<0, (12.3.2) 
yi +3y +4t=1, 
yi ya>0， 


t=0. 


用 单纯 形 法 求 得 y， = 十 汶 =0,1 = 十 是 问题 (12.3.2) 的 最 优 解 ,于 是 ,问题 


vs 


(12.1.11) 的 最 优 解 是 x = 卫 =7,z = 畦 =0. 
[ 司 本 十: 二 
1. 求解 下 列 线性 分 式 规划 问题 : 


1 + 3x, + 3x, +2x) 
1 +2r tx tx 


max 
(1) dst 2x, +Sx +x <2, 
xi +2x, + 3x) 3, 
ax x 20. 

-2x, +3x, +5x, +2 


Wi 
s 2x, +3x, +xy<12, 
(2) 1 + 3x +xy 
x +2x; >12, 
Xi + EB, 
S12 ,%3 PO. 


2. 用 原始 单纯 形 法 求解 线性 分 式 规划 时 ,如何 求 得 它 的 一 个 初始 基本 可 行 解 ? 
3. 说 明 原 始 单纯 形 法 是 Gilmore-Gomory 方法 的 一 种 简化 形式 . 试 从 既 约 梯度 推出 原始 


单纯 形 法 的 最 优 性 充分 条 件 5, 宇 0 ,je R. 
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concave function 2.3 


Armijo - GoldStein 非 精确 线性 搜索 准则 


criterion 6.4 


Armijo - GoldStein 非 精 确 一 维 搜索 方法 
search 6.4 


B 
半空 间 halfspace 2.1 
BFGS 公 式 BFGS formula 7.4 
闭 包 closure 3.3 
变 度量 法 variable metric method 7.4 
表示 定理 representation theorem 2.3 
Bland 规则 Bland rule 4.2 
步 长 step size 5.1 
不 起 作用 约束 inactive constraint SS 
超 平面 hyperplane 2.1 


超 线 性 收敛 ”hyperlinear convergence 5.2 


Charnes - Cooper 法 Chamnes - Cooper method 
10.3 


乘 子 罚 函数 multiplier penalty function 

D 
代数 最 优 性 条 件 algebraic optimal conditions 
单纯 形 simplex 2 
单纯 形 表 simplex tableau 。 4.2 
单纯 形 法 ”simplex method 4.2 
单纯 形 调 优 法 ”simplex evolutionary technique 
单 谷 函 数 unimodal function 6.1 
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Armijo - GoldStein inexact line search 


Armijo — GoldStein inexact one dimension 


12.3 


3.3 


8.5 


单 谷 区 间 。 unimodal interval 6.1 

典 式 canonical form 4.2 

和 迭代 算法 iterative algorithm 全， 

对 偶 单 纯 形 法 dual simplex method 4.4 

对 偶 理论 principle of duality 4.3 

对 偶 问 题 dual problem 4.3 

DFP 法 DFP method 7.4 

Dixon - Myers 公式 Dixon - Myers formula 到 村 
多 胞 形 polytope 2.2 

多 面体 polyhedral 2.2 


E 


二 次 插值 法 quadratic interpolation 6.3 

二 次 规划 quadratic programming 1.1,11.1 
二 次 函数 quadratie function 1 

二 次 终止 性 quadratic termination 汪汪 

二 阶 收敛 ”quadratie convergence 5.2 


下 
罚 函 数 ”penalty function 10.1 
罚 函 数 法 penalty function method 10.1 
罚 因 子 penalty factor 10.1 
Farkas 引 理 。 Farkas lemma 2.1 


非 基 变量 《nonbasic variable 4.1 

非 精 确 一 维 搜索 inexact one dimension search 6.1 

非 退 化 的 基本 可 行 解 nondegenerate basic feasible solution 4.1 
非 线 性 规划 nonlinear programming 1.1 

非 线 性 最 小 二 乘 问题 “least square nonlinear problem 7.5 
Fibonacci 法 Fibonacci method 6.2 

Fibonacei 数列 Fibonacci sequence 6.2 

Fletcher-Reeves 共 思 梯度 法 Fletcher-Reeves conjugate gradient method 7.3 
FR 公式 FR formula 7.3 

Frank - Wolfe 方法 Frank -Wolfe method 9.4 

Fritz John 条 件 Fritz John conditions 3.3 

Fritz John 点 Fritz John point 3.3 


G 


Gauss - Newton 方向 Gauss - Newton direction 7.5 
Gauss - Newton 法 “Gauss - Newton method 7.5 
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割 平面 法 cutting plane method 11.5 

割 线 法 secant method 6.3 

Gilmore - Gomory 方法 “Gilmore - Gomory method 12.2 
共 轿 方向 ”conjugate directions method 7.3 

共 锯 梯度 法 “conjugate gradient method 7.3 

Gordan 定理 Gordan theorem 2.1 

广义 乘 子 法 ”generalized multiplier method 10.3 


H 


Hesse 矩阵 Hessian matrix 1.2 

Himmelblau 终止 准则 Himmelblau rule 5.3 

瓦 补 基本 可 行 解 ”complementary basic feasible solution 11.4 
互补 松弛 条 件 。”complementary slackness condition 
黄金 分 割 数 。 golden section number 6.2 


J 


Jacobi 矩阵 Jacobi matrix 1.2 

基 basis 4.1 

基 变 量 《basic variables 4.1 

基本 解 basic solution 4.1 

基本 可 行 解 “basic feasible solution 4.1 

基 循 环 basic cycling 4.2 

极点 extreme point 2.2 

极 方向 extreme direction 从 各 

几何 最 优 性 条 件 geometric optimal conditions 。 3.3 
婚约 梯度 reduced gradient 9.3 

既 约 梯度 法 “reduced gradient method 9.3 

检验 数 criterion 4.2 

校正 年 阵 ”correction matrix 7.4 

进 基 变量 incoming basic variables 4.2 

近似 黄金 分 割 法 “approximation golden section method 6.2 
近似 线性 化 方法 “approximation linearization method 9.4 
进退 法 ”advanced and retreat method 6.1 

精确 一 维 搜索 ”exact one dimension search 6.1 
局 部 最 优 解 local optimal solution 1.3 
局 部 收敛 性 ”local convergence 5.1 

决策 变量 《decision variable 1.1 


K 


可 接受 一 维 搜索 acceptable one dimension search 6.1 
wa 


可 行 点 feasible point 1.1 

可 行 方向 ”feasible direction 3.3 

可 行 方向 法 feasible direction method 9.1 

可 行 方 向 锥 ”cone of feasible directions Ee 

可 行 基 feasible basis 4.1 

可 行 解 。 feasible solution 1.1,4.1 

可 行 域 feasible region 1.1,4.1 

Kuhn -Tucker 点 Kuhn -Tucker point 3.3 

Kuhn -Tucker 条 件 Kuhn - Tucker conditions 3,3,4.1 


L 


Lagrange 乘 子 Lagrange multiplier 3.2 

Lagrange 函数 ”Lagrange function 3.2 

Levenberg ~ Marquardt 方法 Levenberg - Marquardt method 7.5 
Lemke 算法 Lemke algorithm 11.4 

校 edge 2.2 

离 基 变量 outgoing basic variables 4.2 

邻 域 neighborhood 2.1 


M 


模式 搜索 法 pattern search method 8.2 
目标 规划 ”goal programming 1.1 
目标 函数 objective function 1.1 


N 


内 罚 函 数 法 internal penalty function method 10.2 
内 部 interior 3.1 

Newton 法 Newton method 7.2 

Newton 切线 法 Newton tangent method 6.3 

拟 Newton 条 件 quasi - Newton condition 3 

拟 Newton 法 “quasi - Newton method 7.4 


抛物 线 法 parabolic method 6.3 

平稳 点 stationary point 3.1 

Polak - Ribiere - Polyak 公式 Polak - Ribiere ~ Polyak formula 。 7.3 
Powell 法 Powell method 8.4 


Q 
起 作用 集 方 法 active set method 11.2 
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起 作用 约束 active constraint 3.3 

区 间 缩 短 率 。 interval contraction rate 6.2 
全 局 收敛 性 ”global convergence 5.1 
全 局 最 优 解 ”global optimal solution i 


R 

Rosenbrock 方法 Rosenbrock method 8.3 

S 
收敛 速度 ”ceonvergence rate 5.2 
水 平 集 level set 2.3 
松弛 变量 slack variable 4.1 
搜索 方向 search direction 6.1 
搜索 区 间 search interval 6.1 

T 


梯度 gradient 1.2 

梯度 投影 法 “gradient projection method 9.2 

投影 矩阵 。 projection matrix 9.2 

退化 的 基本 可 行 解 ”degenerate basic feasible solution 4.1 
曲 包 convex hull 2.1 

凸 规划 convex programming 2.4 

凸 函数 convex function 2.3 

凸 集 convex set P| 

凸 组 合 convex combination 2.1 


是 锥 convex cone 2.1 
Mh 


外 罚 函 数 法 exterior penalty function method 10.1 
Wolfe 算法 Wolfe algorithm 11.3 


Wolfe - Powell 非 精 确 一 维 搜索 方法 Wolfe - Powell inexact one dimension search method 
6.4 


无 约束 最 优化 方法 unconstrained optimization method 7.1 
无 约束 最 优化 问题 ”unconstrained optimization problem 1.1 


Xx 


下 降 选 代 算法 descent iterative algorithm 5.1 

下 降 方 向 “descent direction 1.2 

下 降 方 向 锥 ”descent direction cone bp 
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10.1 


线性 分 式 规划 linear fractional programming 1.1.12.1 
线性 规划 linear programming TT 


线性 互补 问题 lin 


ear complementary problem 11.4 


线性 收 伍 linear convergence 5.2 


线性 整数 规划 lin 
线性 最 小 二 乘 问题 


ear integer programming 3.1 


least square linear problem 7.5 


相 邻 极点 adjacent extreme point 2.2 
信赖 域 trust region 7.6 
序列 无 约束 极 小 化 方法 sequential unconstrained minimization technique ( SUMT ) 


旋转 方向 法 “rotating direction method 8.3 


严格 叫 函 数 。 strictly concave function 2.3 
严格 是 函数 strictly convex function 2.3 
一 维 搜索 one dimension search 6.1 
原始 Powell 法 primal powell method 8.4 
原 问 题 primal problem 4.3 


约束 ceonstraint 


约束 规格 ”constraint qualification 和 


约束 集 constraint 


set 1.1 


约 东 矩阵。 ceonstraint matrix 4.1 
约 东 条件 constraint conditions 1.1 


约束 最 优化 问题 


constraint optimization problem 1.1 


Zz 


障碍 函数 ”barrier function 10.2 


整数 规划 integer 


programming 1.1 


整体 最 优 解 global optimal solution 1.1 


正则 单纯 形 调 优 法 


regular simplex evolutionary technique 8.5 


正则 基 regular basis 4.4 
正则 解 regular solution 4.4 


准 互补 基本 可 行 解 


almost complementary basic feasible solution 11.4 


资源 分 配 问题 ”resource allocating problem 1.5 
最 速 下 降 方 向 steepest descent direction RA 
最 速 下 降 法 steepest descent method 7.1 


最 小 二 乘法 least 


square method 7.5 


最 小 二 乘 问题 “least square problem 7.5 


最 优 步 长 ”optimal 


step size 6.1 
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最 优化 ”optimization 1.1 

最 优 解 optimal solution 全 

最 优 控 制 optimal control 1.1 

最 优 性 条 件 optimal conditions 3.3 

最 优 一 维 搜索 optimal one dimension search 6.1 
阻尼 Newton 法 damped Newton method 7.2 
坐标 轮换 法 univariate search technique 8.1 
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